限制 gsutil -m 线程

Question

有没有办法限制命令产生的线程数量gsutil -m？我可以说恰好gsutil -m --threads=4产生四个线程吗？

Answer 1

您应该将boto 配置文件中的parallel_thread_count和值设置为 4parallel_process_count

Gsutil 顶级命令行选项

-m 标志

导致支持的操作（acl ch、acl set、cp、mv、rm、rsync 和 setmeta）并行运行。如果您通过相当快的网络连接对大量文件执行操作，这可以显着提高性能。

gsutil 使用多线程和多处理的组合来执行指定的操作，使用由 boto 配置文件中设置的 parallel_thread_count 和 parallel_process_count 值确定的线程和处理器数量。您可能想要试验这些值，因为最佳值可能会因多种因素而异，包括网络速度、CPU 数量和可用内存。

如果您使用较慢的网络（例如非企业家庭网络计划提供的典型网络速度），使用 -m 选项可能会使您的性能变差。对于在本地执行所有操作的情况（例如，gsutil rsync，其中源 URL 和目标 URL 都在本地磁盘上），它还可能使您的性能变差，因为它可能会“破坏”您的本地磁盘。

如果使用并行传输的下载或上传操作在整个传输完成之前失败（例如，在传输 1000 个文件中的 300 个文件后失败），您将需要重新启动整个传输。

此外，虽然在禁用 -m 标志时大多数命令通常会在遇到错误时失败，但当对多个线程或进程启用 -m 时，所有命令将继续尝试所有操作，并且失败操作的数量（如果有）将在命令执行结束时报告为异常。