python是否自动并行化IO和CPU或内存绑定部分？

Question

这是前一个问题的后续问题.

考虑一下这个代码,它比前一个问题中的代码少一些(但仍然比我真实的简单得多)

import sys
data=[]

for line in open(sys.argv[1]):
    data.append(line[-1])

print data[-1]

现在,我期待更长的运行时间(我的基准文件长度为65150224行),可能更长.事实并非如此,它与以前一样在约2分钟内运行!

是data.append()非常轻量级？我不相信,因此我写了这个假代码来测试它:

data=[]
counter=0
string="a\n"

for counter in xrange(65150224):
    data.append(string[-1])

print data[-1]

这运行时间为1.5到3分钟(运行之间存在很大的差异)

为什么我不能在前一个程序中获得3.5到5分钟？显然,data.append()与IO并行发生.

这是个好消息!

但它是如何工作的？它是一个记录的功能吗？我的代码是否有任何要求我应该遵循以使其尽可能地工作(除了负载平衡IO和内存/ CPU活动)？或者只是简单的缓冲/缓存？

再次,我在这个问题上标记了"linux",因为我只对linux特定的答案感兴趣.如果您认为值得做,请随意提供与操作系统无关的内容,甚至其他操作系统的答案.

Answer 1

显然,data.append()与IO并行发生.

恐怕不是.它是可以并行IO和计算在Python,但它不会神奇地出现.

你可以做的一件事就是posix_fadvise(2)给操作系统一个提示,你打算按顺序读取文件(POSIX_FADV_SEQUENTIAL).

在600兆字节文件(ISO)上执行"wc -l"的一些粗略测试中,性能提高了约20%.清除磁盘缓存后立即完成每个测试.

对于fadvise的Python接口,请参阅python-fadvise.