Beam/Dataflow 可以在停止管道并启动新管道后保持状态吗?

Can Beam/Dataflow keep state after you stop a pipeline and start a new one?

我想了解 dataflow/Beam 如何管理状态。例如,当使用 kafka 流时,可以停止并重新启动您的应用程序并继续上一个状态。

Beam/Dataflow是否有类似的可能性?

虽然您今天无法对 Dataflow 的状态进行快照,但您可以对 Dataflow 从中获取数据的 Pub/Sub 订阅进行快照,并在稍后重新启动。评论云 Pub/Sub Seek and Replay feature. More on the integration can be found here.