如何在 Kafka Connect 中克隆字段？

Question

我正在配置 Kafka Connect 以将数据从 Kafka 复制到数据库

我需要将某些字段的值放入数据库中的两列。

我的 Kafka Message 有两个字段 name、age。目标 table 有 3 列 name、displayName 和 age。我想从 Kafka 消息中克隆 name 的值，将其放在 name 和 displayName.

两列中

是否有任何转换可以应用来做到这一点？

Answer 1

正如 Driss Nejjar 所说，这通常是单一消息转换最适合的事情。但是，我看不出 Apache Kafka 附带的 Transform 可以做到这一点。您可以 write your own，或者您也可以使用 KSQL：

CREATE STREAM new AS SELECT name, name as displayName, age FROM source;

这将获取您的 source 主题（由 Connect 填充），并添加附加字段 displayName，然后写入名为 new 的新 Kafka 主题。

免责声明：我在 KSQL 项目背后的公司 Confluent 工作。