Kafka source - sink connectors - 单一主题的多个表

Question

将来自不同 table 的消息填充到单个主题。但是需要将消息分开并发送到具有相同名称的目标 table 集。

使用 debezium/connect，我使用 jdbc 源连接器从源 table 填充主题。使用 jdbc 接收器连接器，我填充目标 table。 （从主题到目的地 table）在这种情况下，我需要 1 个主题对应 1 table。由于有 100 个 table，我需要一个主题来同步多个 table

知道如何实现吗？

Answer 1

您可以使用 Kafka Connect 转换修改主题/table 动态名称。

看来您可能想使用 RegexRouter 将多个主题收集在一起。

https://docs.confluent.io/current/connect/transforms/regexrouter.html