有没有办法加快在 AWS S3 上上传文件?
Is there a way to expedite the uploading of files on AWS S3?
我正在尝试使用 AWS S3 并将数据读取到 Jupyter Notebook。总文件大小为 42 MB,但是进入 S3 所花费的时间非常长。 5 小时后,只完成了 22%,预计完成时间为 12 小时。有没有其他方法可以有效地上传到 S3,或者使用其他可能提供更高速度的平台?
上传带宽由多种因素决定:
- 您的本地互联网连接
- 流量经过的任何 VPN
- public 互联网
- S3-带宽
通常后两个不是您的问题(尤其是对于 42MB),但前两个可能是。
如果您将数据上传到离您很远的区域中的 S3-Bucket,您可以查看 S3 Transfer-Acceleration,它允许您将数据发送到最近的 CloudFront 边缘位置,从它穿过全球 AWS backbone 到达目标区域,但我怀疑这对你解决问题有多大帮助,因为它很可能是前两个中的一个。
我正在尝试使用 AWS S3 并将数据读取到 Jupyter Notebook。总文件大小为 42 MB,但是进入 S3 所花费的时间非常长。 5 小时后,只完成了 22%,预计完成时间为 12 小时。有没有其他方法可以有效地上传到 S3,或者使用其他可能提供更高速度的平台?
上传带宽由多种因素决定:
- 您的本地互联网连接
- 流量经过的任何 VPN
- public 互联网
- S3-带宽
通常后两个不是您的问题(尤其是对于 42MB),但前两个可能是。
如果您将数据上传到离您很远的区域中的 S3-Bucket,您可以查看 S3 Transfer-Acceleration,它允许您将数据发送到最近的 CloudFront 边缘位置,从它穿过全球 AWS backbone 到达目标区域,但我怀疑这对你解决问题有多大帮助,因为它很可能是前两个中的一个。