多个 JDBC 个连接器一个主题

Question

我需要在不同的数据库（位置也不同）上使用两个完全相同的 table 来发布同一主题。 Kafka JDBC 连接器没有解释它如何管理高水位线，所以想检查一下这种情况下的最佳实践是什么？ 1. 我们能否保留 2 个单独的 JDBC 连接器发布到单独的主题 2. 我们能否保留 2 个单独的 JDBC 连接器发布到同一主题。

如果我们选择选项 2，Kafka JDBC 连接器如何管理以防消息同时到达 table？它如何管理不同的数据库时区？

Answer 1

1. Can we keep 2 separate JDBC connector publishing to separate topic

是的。

2. Can we keep 2 separate JDBC connector publishing to same topic.

是

how Kafka JDBC connector manage in case message arrived into table concurrently at same time?

您将收到关于目标主题的两条消息。如果有任何重复，您的消费者将需要其中的逻辑来处理重复。您可以使用单一消息转换来设置写入主题的消息的键，并将其用作重复数据删除的一部分。