Dataflow job drain 没有结束，系统延迟长期增长

Question

我们有一个以

结尾的数据流管道

• 向 "Done" 主题发送 PubSub 消息或

• 将 PubSub 消息发送到 "DLQ" 或 "RETRY" 主题

这是数据管道图：

这是系统延迟问题，尽管所有 6 个元素都已成功处理：

对于我们在两个主题上发送一些消息的场景，数据流无法识别成功结束并且系统延迟增加并且引流被卡住！

Answer 1

我们发现事件发生在您错过 pub/sub 主题时，特别是在我们的案例中，忘记创建 DLQ 主题。