使用单个分布式工作人员在 Kafka Connect 中启动多个连接器？

Question

如何在单个分布式工作人员（运行 在 3 个不同的服务器上）的 Kafka Connect 世界中启动多个 Kafka 连接器？

现在我需要在这个分布式工作器中使用 4 个 Kafka 连接器（相同 group.id）。

目前，我使用以下 curl 命令一次添加一个连接器。

curl -X POST -H "Content-type: application/json" -d '<my_single_connector_config>' 'http://localhost:8083/connectors'

问题：

• 对于我添加的每个新连接器，previous/existing 个连接器与新连接器一起重新启动。

问题：

• 我应该如何 start/create 在分布式工作者模式下通过一个 REST 调用所有这些新连接器？
• 有没有办法在单个 REST 调用中包含所有连接器配置，例如一组连接器配置？

我尝试搜索相同的内容，但没有找到任何解决方法。

谢谢。

Answer 1

For each new connector I add, previous/existing connector(s) restarts along with new connector.

是的，这就是 Kafka Connect 的当前行为。如需进一步讨论，请参阅：

• https://issues.apache.org/jira/browse/KAFKA-5505
• https://cwiki.apache.org/confluence/display/KAFKA/Incremental+Cooperative+Rebalancing%3A+Support+and+Policies

How should I start/create all these new connectors with one REST call in a distributed worker mode? Is there any way to have all connector configs in a single REST call, like an array of connector configs?

您无法在单个 REST 调用中完成此操作

---

如果您想在连接器 creating/updating 时将它们彼此隔离，您可以 运行 多个分布式集群。

因此，您可以拥有 3 个分布式连接集群，每个 运行宁 1 个连接器，而不是 1 个分布式连接集群 运行宁 3 个连接器。

请记住，在实践中，'distributed Cluster' 可能只是一个节点，实际上可以是同一台机器上的所有 运行。您将横向扩展以获得弹性和吞吐量。