配置 kafka 与多代理连接

Question

步骤

• 我用过两个kafka broker，我已经启动了zookeeper、kafka server和kafka connect服务。
• 我有一个源类型的 kafka 连接器，可用于从数据库获取数据。
• 如果我使用其余 API 启动连接器[连接器 1]，那么它将使用服务器 1 将存储的负载 balancer.After 命中任何一个 kafka 服务器 [服务器 1]，并且 运行ning connector.But 服务器 2 不知道服务器 1 中 运行ning 的连接器 [connector 1]。

预期

• 因此，如果 kafka 服务器 1 出现故障，那么另一个 kafka 服务器 2 应该能够 运行 发生故障的 kafka 服务器 1 中的连接器。

• 在启动连接器时，kafka 服务器应该知道 运行ning 中有多少个连接器，这样如果任何一个代理未能完成工作，另一台服务器将能够继续这份工作。

现实

• 另一台 Kafka 服务器 2 未按要求完成工作。

有没有什么可以通过kafka的配置设置来实现的？

请给我一些想法。

卡夫卡服务器 1

卡夫卡服务器 2

Answer 1

您似乎已经在单个 pods 中启动了所有进程。

您应该 运行 Kafka、Zookeeper 和 Connect 都作为不同 pods 中的独立服务。

我建议您参考 Confluent 或 Strimzi 网站来查找 Kafka Kubernetes Helm Charts / Operators

---

但要回答这个问题 - 您可以给一个或多个代理连接 -distributed.properties bootstrap.server 值。然后每个代理作为 Kafka 集群的一部分连接，并在一个代理不可用的情况下重新连接

“Kakfa 服务器”（经纪人）没有 运行 连接器

如果你想 运行 一个连接工人的集群，你还需要设置他们的 rest.advertised.listener 地址，以便他们可以相互通信。