Google Cloud (GCP) Pub/Sub 是否支持类似于 Kafka 中的 ConsumerGroups 的功能
Does Google Cloud (GCP) Pub/Sub supports feature similar to ConsumerGroups as in Kafka
试图在 Google Cloud (GCP) Pub/Sub 与 Manager Kafka Service 之间做出决定。
在最近的更新中,Pub/Sub 添加了对重播之前处理过的消息的支持,这是一个值得欢迎的更改。
我在他们的文档中找不到的一个功能是我们是否可以拥有类似于 Kafka 的消费者组的东西,即有一组订阅者并且每个处理来自同一主题的数据,并且能够重新处理某些订阅者(消费者组)从头开始的数据,而其他订阅者则不受其影响。
例如:
假设您有一个 StockTicks 主题
并且你有两个消费者群体
CG1:有两个消费者
CG2:与另外两个消费者
在 Kafka 中,我可以独立地读取这些组之间的消息,但是我可以用 Pub/Sub 做同样的事情吗?
而且Kafka允许你从头重播消息,我可以用Pub/Sub做同样的事情吗,如果我不能重播创建CG之前发布的消息我没关系,但是我可以吗重播创建 CG/Subscribers 后提交的消息?
Cloud Pub/Sub 相当于 Kafka 的消费者组是订阅。订阅者相当于消费者。 更详细地阐明了订阅和订阅者之间的关系。
您在 Cloud Pub/Sub 术语中的示例将有一个主题 StockTicks,有两个订阅(称为 CG1 和 CG2)。您将调出四个订阅者,两个为订阅 CG1 获取消息,两个为 CG2 订阅获取消息。 Acking 和 replay 在 CG1 和 CG2 上是独立的,所以如果你在 CG1 上寻回,它根本不会影响 CG2 的消息传递给订阅者。
请记住,对于云 Pub/Sub,只有在成功创建订阅后发布的消息才会传递给该订阅上的订阅者。因此,如果您创建一个新的订阅,您将不会获得从一开始就发布的所有消息;您只会收到从那时起发布的消息。
如果您重新订阅,您最多只能重播 7 天的消息(假设订阅至少在 7 天前创建),因为这是云中消息的最长保留时间 Pub/Sub.
试图在 Google Cloud (GCP) Pub/Sub 与 Manager Kafka Service 之间做出决定。
在最近的更新中,Pub/Sub 添加了对重播之前处理过的消息的支持,这是一个值得欢迎的更改。
我在他们的文档中找不到的一个功能是我们是否可以拥有类似于 Kafka 的消费者组的东西,即有一组订阅者并且每个处理来自同一主题的数据,并且能够重新处理某些订阅者(消费者组)从头开始的数据,而其他订阅者则不受其影响。 例如:
假设您有一个 StockTicks 主题
并且你有两个消费者群体
CG1:有两个消费者
CG2:与另外两个消费者
在 Kafka 中,我可以独立地读取这些组之间的消息,但是我可以用 Pub/Sub 做同样的事情吗?
而且Kafka允许你从头重播消息,我可以用Pub/Sub做同样的事情吗,如果我不能重播创建CG之前发布的消息我没关系,但是我可以吗重播创建 CG/Subscribers 后提交的消息?
Cloud Pub/Sub 相当于 Kafka 的消费者组是订阅。订阅者相当于消费者。
您在 Cloud Pub/Sub 术语中的示例将有一个主题 StockTicks,有两个订阅(称为 CG1 和 CG2)。您将调出四个订阅者,两个为订阅 CG1 获取消息,两个为 CG2 订阅获取消息。 Acking 和 replay 在 CG1 和 CG2 上是独立的,所以如果你在 CG1 上寻回,它根本不会影响 CG2 的消息传递给订阅者。
请记住,对于云 Pub/Sub,只有在成功创建订阅后发布的消息才会传递给该订阅上的订阅者。因此,如果您创建一个新的订阅,您将不会获得从一开始就发布的所有消息;您只会收到从那时起发布的消息。
如果您重新订阅,您最多只能重播 7 天的消息(假设订阅至少在 7 天前创建),因为这是云中消息的最长保留时间 Pub/Sub.