批量创建Kafka Connector

Question

我正在尝试创建 1000 个连接器，每个连接器都有一个任务，在我的 Kafka Kubernetes 集群中有自己的消费者组和独特的主题 （我在创建连接器后的最终目标是向连接器的主题发送大量请求并测量我们实施的连接器接收器的性能）。

每次创建都会触发跨集群的重新平衡，这会“阻止”连接器 RestAPI（returns 409 用于所有内容）并关闭任务。

因此我有三个问题：

1. 重新平衡是否是连接器的一种停机时间（正如我所说，在重新平衡时有任务关闭并重新启动，连接器有一个任务）？
2. 我可以配置重新平衡计划吗？
3. 有没有一种批量创建连接器的方法可以快速（比如在不到一秒内创建 100 个连接器）并且不会导致停机（如果第一个问题的答案是肯定的）？

Answer 1

解决该问题的一种方法是启动 1000 个 Connect 集群（例如，通过 Docker Orchestration），所有集群都带有一个或几个连接器。

---

没有办法绕过重新平衡。您正在将消费者添加到同一个消费者组，因此总是会重新平衡。

与其 运行 每个连接器一个任务，我建议将多个 topics/tasks 组合在一起，而不是共享相似的配置，这样你就可以限制重新平衡的数量。