在Python中流式传输1GB文件

Question

比如2Ghz的英特尔酷睿2双核机器,在python中传输1GB文件需要多长时间？

fp = open('publisher_feed_8663.xml')
for line in fp:
   a = line.split('<')

我想我不够具体.这个过程需要20多分钟,这是异常漫长的.根据经验数据,什么是合理的时间？

Answer 1

你的答案:

start = time.time()
fp = open('publisher_feed_8663.xml')
for line in fp:
   a = line.split('<')
print time.time() - start

您将需要一个名为publisher_feed_8663.xmlpython 的1GB文件和一台2Ghz Intel Core 2 Duo机器.

对于XML的解析,您可能希望使用基于事件的流解析器,例如SAX或lxml.我建议阅读有关iterparse的lxml文档:http://lxml.de/parsing.html#iterparse-and-iterwalk

至于这需要多长时间,你可以使用像这样的工具在linux上做琐碎的硬盘基准测试hdparm -tT /dev/sda.

更多RAM总是有助于处理大型文件,因为操作系统可以保留更大的磁盘缓存.