使用kafka connect的CSV数据流

Question

我们有一个 CSV 文件格式的业务事件需要使用 Kafka 附加到数据库（在我们的例子中是雪花）。

我们是否需要将 csv 文件转换为 JSON 格式（使用 python），然后将值传递给 kafka-producer 主题？

Answer 1

使用Kafka Connect。

1. 使用 Kafka Connect spooldir (see example)
等连接器将 CSV 文件读入 Kafka
2. 使用 Snowflake's connector for Kafka Connect (see example)
从 Kafka 主题流式传输到 Snowflake

在 this talk 中了解有关 Kafka Connect 的更多信息。