将数据从 Azure VM 传输到 AWS VM 时在 azcopy 中使用并行级别

Using parallel-level in azcopy when transferring data from an Azure VM to an AWS VM

在 Ubuntu 14.04 上使用 azcopy 时如何精确利用 --parallel-level 来加快下载性能?

我选择了 100 的值,但没有任何理由(只是为了看看会发生什么)。我在网上找不到相关的文档。

我正在使用它将文件从 Azure blob 传输到 AWS EC2 VM。它只是一个 t2.micro 实例 - 但是我将它用于测试目的,一旦我掌握了 azcopy 的窍门,我就可以使用更大的实例。我必须传输约 50 GB 的数据,主要是低分辨率图像(即大量文件)。

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-linux?toc=%2fazure%2fstorage%2fblobs%2ftoc.json

Option --parallel-level specifies the number of concurrent copy operations. By default, AzCopy starts a certain number of concurrent operations to increase the data transfer throughput. The number of concurrent operations is equal eight times the number of processors you have. If you are running AzCopy across a low-bandwidth network, you can specify a lower number for --parallel-level to avoid failure caused by resource competition.

大多数情况下你不需要指定这个选项,只有当你运行 AzCopy 跨越低带宽网络时,你可以指定一个较小的这个选项。