如何从 Azure 数据块写入 RabbitMQ？

Question

我目前正在学习使用 RabbitMQ。我正在尝试使用 pyspark 从 Azure Databricks 向 RabbitMQ 发布消息。知道如何实现吗？

Answer 1

遗憾的是，Azure Databricks 不支持将 RabbitMQ 作为源。

Azure Databricks - Streaming Data Sources and Sinks

Structured Streaming 内置了对许多流数据源和接收器（例如，文件和 Kafka）的支持，以及允许您指定任意数据编写器的编程接口。

• 阿帕奇卡夫卡
• Azure 事件中心
• 三角洲湖表
• 使用 DataFrames 读写流式 Avro 数据
• 写入任意数据接收器
• 使用 Azure 队列存储优化 Azure Blob 存储文件源

根据我的研究，我发现了一个名为“Panoply”的第三方工具，integrate Databricks and RabbitMQ using Panoply。

希望对您有所帮助。