Kafka Connect中,如何连接多个kafka集群?
In Kafka Connect, how to connect with multiple kafka clusters?
我将 kafka 连接集群设置为分布式模式,我想与多个 kafka 集群建立连接,而不仅仅是多个代理。
目标经纪人可以在 connect-distributed.properties
中设置 bootstrap.servers
。
所以,首先,我从 kafka-cluster-A 中设置 broker1,如下所示:
bootstrap.servers=broker1:9092
当然,效果很好。
然后,我从 kafka-cluster-B 添加了 broker2,如下所示:
bootstrap.servers=broker1:9092,broker2:9092
因此,这两个代理位于不同的集群中。
这根本不起作用。
没有任何错误,它只是被卡住了,并且没有通过 REST API.
创建连接器等请求的答案
如何连接多个kafka集群?
据我所知,您只能将 Kafka Connect worker 连接到一个 Kafka 集群。
如果您有不同集群上的数据并希望使用 Kafka Connect 处理,那么 运行 多个 Kafka Connect 工作进程。
我将 kafka 连接集群设置为分布式模式,我想与多个 kafka 集群建立连接,而不仅仅是多个代理。
目标经纪人可以在 connect-distributed.properties
中设置 bootstrap.servers
。
所以,首先,我从 kafka-cluster-A 中设置 broker1,如下所示:
bootstrap.servers=broker1:9092
当然,效果很好。
然后,我从 kafka-cluster-B 添加了 broker2,如下所示:
bootstrap.servers=broker1:9092,broker2:9092
因此,这两个代理位于不同的集群中。 这根本不起作用。 没有任何错误,它只是被卡住了,并且没有通过 REST API.
创建连接器等请求的答案如何连接多个kafka集群?
据我所知,您只能将 Kafka Connect worker 连接到一个 Kafka 集群。
如果您有不同集群上的数据并希望使用 Kafka Connect 处理,那么 运行 多个 Kafka Connect 工作进程。