我可以信任作业日志中带有 OutOfMemoryError 的管道 'succeeded' 状态吗?

Can I trust a pipeline 'succeeded' status with OutOfMemoryError in the job log?

我有一个启用了自动缩放的数据流作业,它在执行期间将工作池的大小调整为 14。当作业完成时,作业日志报告了 6 OutOfMemoryError 秒,但整个管道以及每个执行步骤的状态为 succeeded。我可以信任工作状态吗,或者我是否会因为工作人员故障而丢失数据?

您可以信任作业状态和结果,因为 Dataflow 旨在以一种对此类故障具有弹性的方式处理数据。更多信息可以在 Service Optimization and Execution 的描述中找到。具体来说:

The Dataflow service is fault-tolerant, and may retry your code multiple times in the case of worker issues. The Dataflow service may create backup copies of your code, and can have issues with manual side effects (such as if your code relies upon or creates temporary files with non-unique names).