如果 Azure 数据工厂同时被触发两次会怎样?
What happens if an Azure Data Factory is triggered twice at the same time?
在同一管道上我有两个触发器:
1- 预定:每天 3 次
2- BlobEvent:在 Blob 存储上创建文件时
到目前为止我没有遇到任何问题,但我想知道如果同时触发这两个问题会怎样?一个会被搁置直到第一个结束,还是它们会同时被执行(这可能是个问题,如果是的话,你的建议是什么来阻止它?)
提前致谢。
Azure 数据工厂 (ADF) 管道在管道级别有并发限制,可以 帮助控制这一点。默认为空白(即最多 50 个),因此如果要控制并发执行,请将其设置为 1。
然而,当前的行为是将后续管道运行排队,而不是完全停止它们,因此您可能需要在管道中构建一些逻辑以确定 'have I already processed this file?' 例如 Lookup activity
或者在文件成功处理后在管道中构建一些东西来移动文件 - 这取决于你在做什么。
在同一管道上我有两个触发器:
1- 预定:每天 3 次
2- BlobEvent:在 Blob 存储上创建文件时
到目前为止我没有遇到任何问题,但我想知道如果同时触发这两个问题会怎样?一个会被搁置直到第一个结束,还是它们会同时被执行(这可能是个问题,如果是的话,你的建议是什么来阻止它?)
提前致谢。
Azure 数据工厂 (ADF) 管道在管道级别有并发限制,可以 帮助控制这一点。默认为空白(即最多 50 个),因此如果要控制并发执行,请将其设置为 1。
然而,当前的行为是将后续管道运行排队,而不是完全停止它们,因此您可能需要在管道中构建一些逻辑以确定 'have I already processed this file?' 例如 Lookup activity 或者在文件成功处理后在管道中构建一些东西来移动文件 - 这取决于你在做什么。