如何激活和配置 ElasticSearch Kafka Connect 接收器?

How to activate and configure ElasticSearch Kafka Connect sink?

我正在尝试使用 helm 在 Kubernetes 集群中设置 Kafka。

我用过Confluent helm chart安装Kafka,相当完整

然后我试图查看 elastic Kafka connect sink 是如何配置的。有一点特别让我印象深刻:confluent load elasticsearch-sink 命令。当容器启动时,我怎样才能重复完成它? 此外,要配置弹性,我必须设置一个属性文件。我可以使用 ConfigMap 吗?但是我很困惑,因为我必须更改 helm 生成的 YAML 配置,这似乎不太可重现...

有人有什么建议吗?

One point particularly strikes me : the confluent load elasticsearch-sink command

confluent 命令旨在用于 localhost 开发/入门环境 。因此它不知道 Kubernetes(例如,您需要一个 Ingress 控制器来公开 Connect REST API)。

Am I right to use a ConfigMap ?

我不认为这是正确的。至少不在 Kafka Connect 的运营商框架之外(如果存在的话)。

连接 configured through a JSON REST API

因此,也无法在启动时加载配置。它需要手动 POST',然后该配置将保留在 Kafka 的 CONNECT_CONFIG_STORAGE_TOPIC 中。

在内部,confluent load 字面意思是 curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors