如何在kafka connect jdbc中覆盖key.serializer

Question

我正在使用 kafka jdbc 源连接器对 kafka 进行 mysql 连接。一切正常。现在我需要传递 key.serializer 和 value.serializer 来加密数据，如 macronova 所示。但我没有发现输出有任何变化。

POST API 启动源连接器

curl -X POST -H "Content-Type: application/json" --data '{
  "name": "jdbc-source-connector-2",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "key.serializer": "org.apache.kafka.common.serialization.StringSerializer",
    "value.serializer": "org.apache.kafka.common.serialization.StringSerializer",
    "tasks.max": 10,
    "connection.url": "jdbc:mysql://localhost:3306/connect_test?user=roo&password=roo",
    "mode": "incrementing",
    "table.whitelist" : "test",
    "incrementing.column.name": "id",
    "timestamp.column.name": "modified",
    "topic.prefix": "table-",
    "poll.interval.ms": 1000
  }
}' http://localhost:8083/connectors

Answer 1

连接器仅采用转换器，不采用键和值属性的序列化程序

如果要加密整个字符串，则需要实现自己的转换器或编辑写入数据库的代码以写入 Kafka，然后消费并写入数据库以及其他下游系统

如何在kafka connect jdbc中覆盖key.serializer

how to override key.serializer in kafka connect jdbc

apache-kafka

apache-kafka-connect