Azcopy 将数百万个小 Blob 从存储帐户复制到您的 VM
Azcopy Copy Millions of Small Blob from storage account to your VM
我正在尝试使用 azcopy 命令将数百万个小型 csv 文件从我的存储帐户复制到物理机,我发现速度一直很慢。
azcopy命令格式为
Azcopy 复制 --recursive --overwrite=True
命令来自物理机运行。
有没有办法让 azcopy 同时下载多个 blob?而不是一个一个地检查blob?我相信这就是速度下降到如此低的值 1 mb/second 的原因,因为它正在对这些非常小的 blob 进行一个接一个的检查。或者如果有另一种方法可以提高这种 blob t运行sfer?
的速度
azcopy 使用并行处理等针对吞吐量进行了高度优化。我还没有遇到任何工具可以为您提供更快的整体下载速度。根据我的经验,主要的限制因素通常(显然)是网络带宽,还有 CPU 功率。它使用大量计算资源。那么,您能否至少在下载期间增加 VM 上的这两个?
我正在尝试使用 azcopy 命令将数百万个小型 csv 文件从我的存储帐户复制到物理机,我发现速度一直很慢。
azcopy命令格式为
Azcopy 复制
命令来自物理机运行。
有没有办法让 azcopy 同时下载多个 blob?而不是一个一个地检查blob?我相信这就是速度下降到如此低的值 1 mb/second 的原因,因为它正在对这些非常小的 blob 进行一个接一个的检查。或者如果有另一种方法可以提高这种 blob t运行sfer?
的速度azcopy 使用并行处理等针对吞吐量进行了高度优化。我还没有遇到任何工具可以为您提供更快的整体下载速度。根据我的经验,主要的限制因素通常(显然)是网络带宽,还有 CPU 功率。它使用大量计算资源。那么,您能否至少在下载期间增加 VM 上的这两个?