使用增量 ID 作为水印在 Azure 数据工厂管道中复制数据而不是日期时间
Using an incremental id as watermark for copying data in azure data factory pipeline instead of date time
我能够使用时间戳将数据从源 Azure MSSQL DB 增量加载到接收器 Azure MSSQL DB。出于某种原因,我希望在源数据库中使用增量 id 而不是时间戳来增量加载数据。这可能吗?
我每天只需要 运行 复制数据 activity 一次。所以我还想将每个复制数据 activity 的批次 ID 存储在 batch_details table.
中
我正在使用 ADF v.2
我是 azure 的新手,我该怎么做?
你问的基本上就是这个教程从官方文档中解释的:https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview
您可以使用任何您想要的水印,本教程使用日期时间值,但增量 ID 也可以。
到运行管道每天一次,使用触发器:https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-trigger
希望对您有所帮助!
我能够使用时间戳将数据从源 Azure MSSQL DB 增量加载到接收器 Azure MSSQL DB。出于某种原因,我希望在源数据库中使用增量 id 而不是时间戳来增量加载数据。这可能吗?
我每天只需要 运行 复制数据 activity 一次。所以我还想将每个复制数据 activity 的批次 ID 存储在 batch_details table.
中我正在使用 ADF v.2
我是 azure 的新手,我该怎么做?
你问的基本上就是这个教程从官方文档中解释的:https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-overview
您可以使用任何您想要的水印,本教程使用日期时间值,但增量 ID 也可以。
到运行管道每天一次,使用触发器:https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipeline-execution-triggers#schedule-trigger
希望对您有所帮助!