将数据从 Azure Blob 复制到 Azure Data Lake 的最佳(快速)方式
Best (quick) way to copy data from Azure Blob into Azure Data Lake
将数据从 Azure blob 复制到 Azure Data Lake 存储的最佳(快速)方法是什么?此副本是一次性工作。数据集约50G,包含约10个文件。每个文件大约有 20 列。
我查看了 Azure 数据工厂,它需要为 Azure 数据工厂中的每个文件创建日期集。这很乏味。
您可以使用 AdlCopy 将 Azure 存储 Blob 复制到 Azure Data Lake Store。
作为遇到此问题的现代答案。
这取决于你的意思是 "speed to develop" 还是 "speed to transfer"。
根据您对数据工厂的担忧,我怀疑开发速度。
数据工厂现在有一个 "Copy Data Wizard" 可以快速设置这些东西。
从问题的年代来看,这很可能在数据工厂 V1 时间范围内。数据工厂 V2 现已推出,而且更容易。
https://docs.microsoft.com/en-gb/azure/data-factory/quickstart-create-data-factory-copy-data-tool
关于传输速度,Data Factory 发布了以下统计数据,因此传输速度约为 105MB/s,我怀疑甚至更快。
对于 Azure Data Lake Gen2,文档中不再提及 AdlCopy,而是提及了 AzCopy。
我知道你已经回答了你的问题,但以防万一以后有人遇到这个问题。
将数据从 Azure blob 复制到 Azure Data Lake 存储的最佳(快速)方法是什么?此副本是一次性工作。数据集约50G,包含约10个文件。每个文件大约有 20 列。
我查看了 Azure 数据工厂,它需要为 Azure 数据工厂中的每个文件创建日期集。这很乏味。
您可以使用 AdlCopy 将 Azure 存储 Blob 复制到 Azure Data Lake Store。
作为遇到此问题的现代答案。
这取决于你的意思是 "speed to develop" 还是 "speed to transfer"。
根据您对数据工厂的担忧,我怀疑开发速度。
数据工厂现在有一个 "Copy Data Wizard" 可以快速设置这些东西。
从问题的年代来看,这很可能在数据工厂 V1 时间范围内。数据工厂 V2 现已推出,而且更容易。
https://docs.microsoft.com/en-gb/azure/data-factory/quickstart-create-data-factory-copy-data-tool
关于传输速度,Data Factory 发布了以下统计数据,因此传输速度约为 105MB/s,我怀疑甚至更快。
对于 Azure Data Lake Gen2,文档中不再提及 AdlCopy,而是提及了 AzCopy。
我知道你已经回答了你的问题,但以防万一以后有人遇到这个问题。