Kafka 生产者与 Kafka 连接器

Question

我需要通过调用存储的方法将数据从数据库（比如 Oracle DB）推送到 kafka 主题 procedure.I 还需要对消息进行一些验证

我应该使用 Producer API 还是 Kafka Connector。

Answer 1

您应该使用 Kafka Connect。或者，或者使用生产者 API 并编写一些代码来处理：

• 横向扩展
• 故障转移
• 重新启动
• 架构
• 序列化
• 转换

并且以标准化方式与数百种其他技术集成，以便于移植和管理。

到那时，您将重塑 Kafka Connect ;-)

要了解有关 Kafka Connect 的更多信息，请参阅 this talk. To learn about the specifics of database->Kafka ingestion see this talk and this blog。