是否有 Dataflow 源 ack API?
Is there a Dataflow source ack API?
根据 ,数据流的 pub/sub 源不会确认消息,直到它们被可靠地持久化。是否有可能对此进行手动控制?我们在 ParDo 中保留行作为副作用,因为目前没有无限制的自定义接收器支持,我们有什么办法可以将 ParDo 标记为 "on bundle processing success ack these records"?
或者,我们是否可以在 ParDo 中作为副作用存在,如果它失败抛出异常,然后在管道中的 ParDo 之后有某种 "dummy" 流水槽,如 BigQuery 以确保消息被确认了吗?作为 "normal, expected behaviour" 的一部分抛出异常会导致新问题吗?
这里的答案真的"just wait for unbounded custom sink support"吗?
我相信 Dataflow 会自动提供您想要的行为。在我们用您的 ParDo
完成处理并保留结果之前,我们不会确认 PubSub 消息。
根据
或者,我们是否可以在 ParDo 中作为副作用存在,如果它失败抛出异常,然后在管道中的 ParDo 之后有某种 "dummy" 流水槽,如 BigQuery 以确保消息被确认了吗?作为 "normal, expected behaviour" 的一部分抛出异常会导致新问题吗?
这里的答案真的"just wait for unbounded custom sink support"吗?
我相信 Dataflow 会自动提供您想要的行为。在我们用您的 ParDo
完成处理并保留结果之前,我们不会确认 PubSub 消息。