具有架构注册表支持的 Spark from_avro 函数

Question

我正在尝试按照此 doc.

将 confluent schema reigstry 与 spark from_avro 函数结合使用

我有以下进口商品：

"io.confluent" % "kafka-schema-registry-client" % "5.4.1",
"io.confluent" % "kafka-avro-serializer" % "5.4.1",
"org.apache.spark" %% "spark-avro" % "2.4.5",

但是，我只看到下面的方法签名可用。

import org.apache.spark.sql.avro._
from_avro(data: Column, jsonFormatSchema : String)

而不是我期望的模式注册表支持。

from_avro($"value", "topic-value", schemaRegistryAddr)

我错过了什么吗？我知道 2.4.5 是 spark-avro 的最新稳定版本，但它似乎不支持 databricks docs 中提到的相同签名。意见表示赞赏。

Answer 1

目前 spark 2.4.5 不提供以下功能。

from_avro($"value", "topic-value", schemaRegistryAddr)

仅适用于 Databricks 环境或 Databricks notebook。