gcloud storage python client API 是否支持并行复合上传？

Question

gsutil 命令具有优化大文件 upload/download 速度的选项。例如

GSUtil:parallel_composite_upload_threshold=150M
GSUtil:sliced_object_download_max_components=8

参考this page。

google.cloud.storagepythonAPI中的等价物是什么？ this document.

中没有找到相关参数

一般来说，客户端API和gsutil在功能上是一一对应的吗？

Answer 1

我认为它不受原生支持。

但是 (!) 如果您愿意分解文件然后使用 threading 或 multiprocessing，有一个 compose 方法可以帮助您 assemble部分合并为一个 GCS 对象。

具有讽刺意味的是，gsutil 是用 Python 编写的，但它使用库 gslib 来实现并行上传。您可以使用 gslib 作为模板。