是否可以不间断地修改带有 pub/sub 输入的 apache 光束流？

Question

1) 我写了一个管道作为输入 pub/sub 流。我想用 --update 或 --jobName 选项修改它。 pub/sub 和整个管道中的数据发生了什么变化？

2) 由于某些原因我必须关闭管道：a) 几个小时或 b) 几天。是否有可能以某种简单的方式将这些数据重播到重新启动的管道，以便在流模式下像以前一样处理所有内容。我听说你可以重玩 pub/sub 7 天。

Answer 1

1) 如果更新流式管道，管道 运行 现在将停止从 pubsub 中提取数据，并在新管道启动之前保存中间 window 状态。所以不会有数据丢失或重复。

2) 目前 Dataflow 不支持恢复管道执行。