在流媒体管道中使用 google 云 pub/sub 服务有什么好处
What is the benefit of using google cloud pub/sub service in a streaming pipeline
谁能解释一下在流媒体管道中采用 google 云 pub/sub 服务有什么好处?
我看到了其中一个事件流管道示例,它使用 pub/sub 来摄取事件数据,然后连接到 google 云数据流服务进行转换。为什么不直接通过数据流连接到事件数据?
谢谢。
Dataflow 需要一个来源来获取数据。如果您使用的是流式传输管道,您可以使用 different options as a source,它们中的每一个都有自己的特点,可能适合您的场景。
借助 Pub/Sub,您可以使用客户端库轻松发布事件或直接将 API 发布到主题,并且它会保证至少一次传递该消息。
当您将它与 Dataflow 流式传输管道连接时,您可以拥有一个弹性架构(Pub/Sub 将继续发送消息,直到 Dataflow 确认它已处理它)和近乎实时的处理。此外,Dataflow 可以使用 Pub/Sub 指标根据积压中的消息数量来扩大或缩小规模。
最后,Dataflow runner 使用 PubSubIO 连接器的优化版本,它提供了额外的功能。我建议查看描述其中一些功能的 this documentation。
谁能解释一下在流媒体管道中采用 google 云 pub/sub 服务有什么好处?
我看到了其中一个事件流管道示例,它使用 pub/sub 来摄取事件数据,然后连接到 google 云数据流服务进行转换。为什么不直接通过数据流连接到事件数据?
谢谢。
Dataflow 需要一个来源来获取数据。如果您使用的是流式传输管道,您可以使用 different options as a source,它们中的每一个都有自己的特点,可能适合您的场景。
借助 Pub/Sub,您可以使用客户端库轻松发布事件或直接将 API 发布到主题,并且它会保证至少一次传递该消息。
当您将它与 Dataflow 流式传输管道连接时,您可以拥有一个弹性架构(Pub/Sub 将继续发送消息,直到 Dataflow 确认它已处理它)和近乎实时的处理。此外,Dataflow 可以使用 Pub/Sub 指标根据积压中的消息数量来扩大或缩小规模。
最后,Dataflow runner 使用 PubSubIO 连接器的优化版本,它提供了额外的功能。我建议查看描述其中一些功能的 this documentation。