Google PubSub 到 Kafka 源连接器

Question

我有 1 个 pub/sub 主题和 1 个订阅。我正在探索 GCP PubSub Kafka Connector。

在 2 个区域中有 2 个 Kafka 运行 实例。是否可以在两个区域都使用 Kafka 连接器，从 Pub/Sub 中的同一个公共订阅中获取消息？

我想找出一种方法将消息从 pub/sub 移动到多个 kafka 实例。 （说循环赛）

Answer 1

如果您希望两个 Kafka 实例都接收到所有消息，那么您将需要创建该主题的第二个订阅。如果您希望每个 Kafka 实例接收消息的子集，那么您可以将两个 CPS Kafka 源连接器实例设置为具有相同的订阅。