相关疑难解决方法(0)

如何在Python中复制文件?

如何在Python中复制文件?

我找不到任何东西os.

python filesystems copy file file-copying

2171
推荐指数
18
解决办法
174万
查看次数

Python多进程/多线程可加快文件复制

我有一个程序,可以将大量文件从一个位置复制到另一个位置-我说的是100,000个以上的文件(此刻我正在按图像顺序复制314g)。它们都位于极端的大型,非常快速的网络存储RAID上。我正在使用shutil顺序复制文件,这需要一些时间,因此我试图找到最佳方法来对此进行优化。我注意到有些软件可以有效地使用多线程从网络中读取文件,从而大大缩短了加载时间,因此我想尝试在python中进行此操作。

我没有编程多线程/多进程的经验-这似乎是正确的领域吗?如果是这样,最好的方法是什么?我看过其他一些关于在python中复制线程文件的SO帖子,它们似乎都说您没有速度提高,但是考虑到我的硬件,我认为情况不会如此。目前,我的IO上限还差得远,资源只占1%左右(我本地有40个内核和64g的RAM)。

  • 斯宾塞

python multithreading shutil

3
推荐指数
2
解决办法
3698
查看次数

标签 统计

python ×2

copy ×1

file ×1

file-copying ×1

filesystems ×1

multithreading ×1

shutil ×1