使用动态路径在 ADL 之间复制 Azure 数据工厂

Azure Data Factory copy between ADLs with a dynamic path

我正在尝试在两个 Azure Data Lakes GEN1 之间创建副本 activity。我必须通过其中一个子文件夹可变的路径进行复制,例如:

rootFolder/subFolder1/*/subFolder3

其中 * 可以采用不同的值,并且必须为所有这些可能的值自动进行复制,因此不值得将该子文件夹设置为参数并且 运行 管道与可能值的数量。

我想知道是否有办法自动实现此副本activity,我是 Azure 和 ADF 的新手。

这可以通过在副本的源设置中使用通配符过滤来实现 Activity。

设置通配符文件夹路径 = rootFolder/subFolder1/*/subFolder3 通配符文件名 = * 或 *.json 或 *.txt 或 *.csv..,等等,根据您的要求。

例如:

要了解有关使用通配符过滤器的文件夹路径和文件名的结果行为的更多信息,请参阅此 MS 文档:https://docs.microsoft.com/azure/data-factory/connector-azure-data-lake-store#folder-and-file-filter-examples

这里有一些与类似要求相关的帖子,可能会有帮助

https://social.msdn.microsoft.com/Forums/en-US/d2b6c77b-c6de-4369-94ba-5a0c7e31a510/iterate-to-every-single-folder-and-each-files-into-a-single-csv?forum=AzureDataFactory#c9696acd-39d0-491f-8ced-7bf135b82c10

https://social.msdn.microsoft.com/Forums/en-US/00c93358-0291-44d9-96d8-266fadc7fd47/copy-data-to-separate-directory-based-on-folder-name?forum=AzureDataFactory