Kafka Connect JDBC Sink 可以转储原始数据吗？

Question

部分用于测试和调试，但也用于解决我们在无法更改生产者的主题中看到的问题我希望能够将值作为字符串存储在 CLOB 中数据库 table.

我作为一个基于 Java 的消费者在工作，但我正在研究是否可以使用 Kafka Connect 来实现。

我读过的所有内容都说您需要一个架构，其推理是它如何知道如何将数据处理成列（这是有道理的），但我不想对数据进行任何处理（这可能是 JSON 但可能只是文本）我只想将整个值视为一个字符串并将其加载到一列中。

有什么方法可以在 Connect 配置中完成，或者我是否正在考虑添加额外的处理来更新消息（在这种情况下，Java 客户端可能最终会变得更简单）

Answer 1

不，JDBC 接收器连接器需要模式才能工作。您可以修改 source code 以添加此行为。

我个人会尝试坚持使用 Kafka Connect 将数据流式传输到数据库，因为它可以很好地完成所有困难的事情（横向扩展、重启等）。根据您所谈论的处理过程，单消息转换很可能非常适用，因为它们适合 Kafka Connect 管道。或者对于更复杂的处理，Kafka Streams 或 ksqlDB。