如何激活和配置 ElasticSearch Kafka Connect 接收器?
How to activate and configure ElasticSearch Kafka Connect sink?
我正在尝试使用 helm 在 Kubernetes 集群中设置 Kafka。
我用过Confluent helm chart安装Kafka,相当完整
然后我试图查看 elastic Kafka connect sink 是如何配置的。有一点特别让我印象深刻:confluent load elasticsearch-sink
命令。当容器启动时,我怎样才能重复完成它?
此外,要配置弹性,我必须设置一个属性文件。我可以使用 ConfigMap 吗?但是我很困惑,因为我必须更改 helm 生成的 YAML 配置,这似乎不太可重现...
有人有什么建议吗?
One point particularly strikes me : the confluent load elasticsearch-sink
command
confluent
命令旨在用于 localhost
开发/入门环境 仅 。因此它不知道 Kubernetes(例如,您需要一个 Ingress 控制器来公开 Connect REST API)。
Am I right to use a ConfigMap ?
我不认为这是正确的。至少不在 Kafka Connect 的运营商框架之外(如果存在的话)。
连接 configured through a JSON REST API。
因此,也无法在启动时加载配置。它需要手动 POST',然后该配置将保留在 Kafka 的 CONNECT_CONFIG_STORAGE_TOPIC
中。
在内部,confluent load
字面意思是 curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors
我正在尝试使用 helm 在 Kubernetes 集群中设置 Kafka。
我用过Confluent helm chart安装Kafka,相当完整
然后我试图查看 elastic Kafka connect sink 是如何配置的。有一点特别让我印象深刻:confluent load elasticsearch-sink
命令。当容器启动时,我怎样才能重复完成它?
此外,要配置弹性,我必须设置一个属性文件。我可以使用 ConfigMap 吗?但是我很困惑,因为我必须更改 helm 生成的 YAML 配置,这似乎不太可重现...
有人有什么建议吗?
One point particularly strikes me : the
confluent load elasticsearch-sink
command
confluent
命令旨在用于 localhost
开发/入门环境 仅 。因此它不知道 Kubernetes(例如,您需要一个 Ingress 控制器来公开 Connect REST API)。
Am I right to use a ConfigMap ?
我不认为这是正确的。至少不在 Kafka Connect 的运营商框架之外(如果存在的话)。
连接 configured through a JSON REST API。
因此,也无法在启动时加载配置。它需要手动 POST',然后该配置将保留在 Kafka 的 CONNECT_CONFIG_STORAGE_TOPIC
中。
在内部,confluent load
字面意思是 curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors