Azure Databricks 多任务作业和工作流。模拟完成状态
Azure Databricks Multi-task jobs and workflows. Simulate on completion status
目前，我们正在研究如何有效地整合 databricks 最新的任务编排功能 - 多任务作业。
默认行为是，如果前一个任务由于某种原因失败，则不会执行下游任务。
所以问题是：当前是否可能有一个 onComplete 状态（类似于 Azure 数据工厂或 SQL 服务器集成服务-SSIS 中的状态），无论任务成功或失败我们都可以继续使用工作流并执行下一个任务。
目前还不可能，但您可以用 try/catch 包围您的代码，因此如果抛出错误，则 catch 块不会进一步传播异常，任务也不会被标记为失败。
目前，我们正在研究如何有效地整合 databricks 最新的任务编排功能 - 多任务作业。
默认行为是，如果前一个任务由于某种原因失败，则不会执行下游任务。
所以问题是：当前是否可能有一个 onComplete 状态（类似于 Azure 数据工厂或 SQL 服务器集成服务-SSIS 中的状态），无论任务成功或失败我们都可以继续使用工作流并执行下一个任务。
目前还不可能，但您可以用 try/catch 包围您的代码，因此如果抛出错误，则 catch 块不会进一步传播异常，任务也不会被标记为失败。