to_avro 在 spark-avro 中找不到模式注册表函数
to_avro function for schema registry not found in spark-avro
我正在尝试使用此文档写入 kafka 接收器:https://docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example-with-schema-registry
但是,我在 spark-avro(https://mvnrepository.com/artifact/org.apache.spark/spark-avro_2.11) 中找不到具有多个参数的 to_avro 函数。有人知道它是 moved/renamed 还是我应该使用另一个库?谢谢!
在spark 3.0
中,这些功能已移至org.apache.spark.sql.avro.functions.scala
对象
检查这个 - spark-repo
jira- SPARK-26870
您所指的数据块文档也是基于 spark 3
我正在尝试使用此文档写入 kafka 接收器:https://docs.databricks.com/spark/latest/structured-streaming/avro-dataframe.html#example-with-schema-registry
但是,我在 spark-avro(https://mvnrepository.com/artifact/org.apache.spark/spark-avro_2.11) 中找不到具有多个参数的 to_avro 函数。有人知道它是 moved/renamed 还是我应该使用另一个库?谢谢!
在spark 3.0
中,这些功能已移至org.apache.spark.sql.avro.functions.scala
对象
检查这个 - spark-repo jira- SPARK-26870
您所指的数据块文档也是基于 spark 3