有没有办法加快在 AWS S3 上上传文件?

Is there a way to expedite the uploading of files on AWS S3?

我正在尝试使用 AWS S3 并将数据读取到 Jupyter Notebook。总文件大小为 42 MB,但是进入 S3 所花费的时间非常长。 5 小时后,只完成了 22%,预计完成时间为 12 小时。有没有其他方法可以有效地上传到 S3,或者使用其他可能提供更高速度的平台?

上传带宽由多种因素决定:

  • 您的本地互联网连接
  • 流量经过的任何 VPN
  • public 互联网
  • S3-带宽

通常后两个不是您的问题(尤其是对于 42MB),但前两个可能是。

如果您将数据上传到离您很远的区域中的 S3-Bucket,您可以查看 S3 Transfer-Acceleration,它允许您将数据发送到最近的 CloudFront 边缘位置,从它穿过全球 AWS backbone 到达目标区域,但我怀疑这对你解决问题有多大帮助,因为它很可能是前两个中的一个。