Elasticsearch Sink Connector 是否像 JDBC sink connector 那样支持主键的 upsert 模式？

Question

我正在使用 kafka connect 从 Mongodb -> Elasticsearch 移动数据。目前，更新的记录作为新文档插入到 Elasticsearch 索引中。但是我想根据 ID 更新现有记录（类似于 write.mode=upsert in JDBC Sink Connector）。这可能吗？

Answer 1

我通过设置 key.ignore=false 然后使用 ExtractField SMT

转换事件密钥从 {id: 1234} to 1234 解决了这个问题

    key.ignore=false
    transforms=ExtractField
    transforms.ExtractField.field=id
    transforms.ExtractField.type=org.apache.kafka.connect.transforms.ExtractField$Key

Elasticsearch Sink Connector 是否像 JDBC sink connector 那样支持主键的 upsert 模式？

Does Elasticsearch Sink Connector support upsert mode on primary key like the JDBC sink connector does?

elasticsearch

apache-kafka-connect