Azure:How 从数据湖复制分区数据

Question

我的数据湖上的文件夹结构是/raw/project/countryName/year/files。json 如何创建副本 activity 以读取每个文件夹中的所有文件？

在文档中我只能找到按数据分区的示例：

"folderPath": {
      "value": "adfcustomerprofilingsample/logs/marketingcampaigneffectiveness/@{formatDateTime(pipeline().parameters.windowStartTime, 'yyyy/MM/dd')}/",
      "type": "Expression"
},

Answer 1

"folderPath": { "value": "/raw/project/countryName/@{formatDateTime(pipeline().parameters.windowStartTime, 'yyyy')}/", "type": "Expression" },

如上指定您的文件夹路径，不要指定您的文件名。在您的复制源 typeProperties 中，将 recursive 设置为 true。

Azure:How 从数据湖复制分区数据

Azure:How to copy partitioned data from from data lake

azure

azure-data-factory