流式传输管道在写入步骤完成后发布到 pubsub

Question

我有一个用例，我有一个 Dataflow 作业 运行 在流模式下每小时固定 window。

当管道针对给定的 window 运行时，我们计算一些数据并将其写入数据源。我接下来要做的是在写入完成后向 PubSub 发布一些消息 - 我如何才能确保写入步骤在写入 PubSub 之前完成？

如果管道在批处理模式下执行，我知道我可以按照建议here以阻塞方式执行它，但棘手的部分是这经常运行在流模式下。

Answer 1

Wait.on() 转换是为这个用例设计的。有关用法示例，请参阅文档。