Kafka Connect 中的消息转换
In flight message transformation in Kafka Connect
为了满足需求，我们正在整理以下数据管道。
IBM MQ（源）-> Kafka Connect -> Streaming API (Kafka/Flink/Spark) -> DB (Sink).
我想检查是否有任何选项可以在 Kafka 连接层或在消息到达 kafka/kafka 连接集群之前执行消息编码转换（自定义）。
该选项不应显着增加数据管道的延迟。
是的，您所描述的是 Kafka Connect 的单消息转换功能。各种变换 ship with Apache Kafka, and you can write your own.
为了满足需求，我们正在整理以下数据管道。
IBM MQ（源）-> Kafka Connect -> Streaming API (Kafka/Flink/Spark) -> DB (Sink).
我想检查是否有任何选项可以在 Kafka 连接层或在消息到达 kafka/kafka 连接集群之前执行消息编码转换（自定义）。
该选项不应显着增加数据管道的延迟。
是的，您所描述的是 Kafka Connect 的单消息转换功能。各种变换 ship with Apache Kafka, and you can write your own.