Apache Beam Wait.on JdbcIO.write 存在无限 PCollection 问题
Apache Beam Wait.on JdbcIO.write with unbounded PCollection issue
我正在尝试将以下场景与无界 pCollection 数据源 (PubSub) 结合使用。
https://issues.apache.org/jira/browse/BEAM-6732
我可以写入 DB1。
DB2 有一个 Wait.on DB1 (PCollection .withResults)。但不幸的是，DB2 没有得到更新。
当我将源更改为有界虚拟 PCollection 时，它起作用了。
欢迎任何意见。
正如我在 Jira 上提到的，您的无界管道中是否使用了任何 Windows？
只有在相应的 window 已完全写入第一个数据库后，才会开始写入另一个数据库。否则，它将永远等待。
我正在尝试将以下场景与无界 pCollection 数据源 (PubSub) 结合使用。 https://issues.apache.org/jira/browse/BEAM-6732
我可以写入 DB1。 DB2 有一个 Wait.on DB1 (PCollection .withResults)。但不幸的是，DB2 没有得到更新。
当我将源更改为有界虚拟 PCollection 时，它起作用了。 欢迎任何意见。
正如我在 Jira 上提到的，您的无界管道中是否使用了任何 Windows？ 只有在相应的 window 已完全写入第一个数据库后，才会开始写入另一个数据库。否则，它将永远等待。