gcloud 存储 python 客户端 API 是否支持并行复合上传？

Question

该gsutil命令具有优化大文件上传/下载速度的选项。例如

GSUtil:parallel_composite_upload_threshold=150M
GSUtil:sliced_object_download_max_components=8

请参阅此页面以供参考。

google.cloud.storagepython API中的等价物是什么？我在这个文档中没有找到相关参数。

一般来说，客户端API和gsutil功能上是否一一对应？

Answer 1

我认为它不受本机支持。

但是（！）如果您愿意分解文件然后使用threadingor multiprocessing，有一种compose方法可以帮助您将部件组装成一个 GCS 对象。

具有讽刺意味的是，它gsutil是用 Python 编写的，但它使用一个库gslib来实现并行上传。您也许可以gslib用作模板。