如何在 Pyspark 中获取 kafka 架构注册表？
How can I get kafka schema registry in Pyspark?
我正在查看 PySpark 的相关库以从 Kafka 获取架构注册表并解码数据。有谁知道 code/library 在 scala-code 中从 scala 到 pyspark 的转换是什么？
您可以使用 requests 包向 schema-registry restAPI 发送请求并获取您的主题的架构，如果您正在收听某些特定主题，您可以在 spark 上缓存它们的架构并使用它们
Pyspark 可以导入和使用任何 JVM Spark class。您找到的任何 Scala 其他 Java 示例，因此应该可以正常工作
Running custom Java class in PySpark
我正在查看 PySpark 的相关库以从 Kafka 获取架构注册表并解码数据。有谁知道 code/library 在 scala-code 中从 scala 到 pyspark 的转换是什么？
您可以使用 requests 包向 schema-registry restAPI 发送请求并获取您的主题的架构，如果您正在收听某些特定主题，您可以在 spark 上缓存它们的架构并使用它们
Pyspark 可以导入和使用任何 JVM Spark class。您找到的任何 Scala 其他 Java 示例，因此应该可以正常工作
Running custom Java class in PySpark