ADF v2 中的源到接收器文件夹映射

Question

作为使用 ADFv2 将数据从 ADLS Gen1 迁移到 ADLS Gen2 的一部分，我们遇到以下情况。

source -> raw/datasourceA/2019/2019-Aug/12-Aug-2019/files
          raw/datasourceA/2019/2019-Aug/13-Aug-2019/files
          raw/datasourceA/2020/2020-Apr/02-Apr-2020/files

target -> raw/eval/datasourceA/12-Aug-2019/files
          raw/eval/datasourceA/13-Aug-2019/files
          raw/eval/datasourceA/02-Apr-2020/files

实现此目的的一种选择是在 table 中进行源路径和目标路径映射，并使用 ADF 查找 activity 读取每一行。但是这样做，我们最终会在 table.

中有这么多条目

有没有其他方法可以在 ADF 中动态实现它？在控制中 table 我只想让下面的源和目标路径和其余部分由 ADF 处理。

source path -> raw/datasourceA/
target path -> raw/eval/datasourceA/

Answer 1

因为你的文件夹是分层的，我支持你将文件路径作为参数传递给副本的想法activity。在ADF中，遍历一个层次文件更方便。

声明一个数组类型变量并赋值["2019/2019-Aug","2020/2020-Apr"]。
通过添加动态内容指定文件路径@concat('raw/datasourceA/',item())。
然后下沉到目标文件夹。
我们可以看到源文件夹已复制到目标文件夹。

ADF v2 中的源到接收器文件夹映射

Source to sink folder mapping in ADF v2

azure-data-factory

azure-data-factory-2