我目前正在编写一个处理非常大(> 10GB)文件的python脚本.由于将整个文件加载到内存中不是一种选择,我现在正在逐行阅读和处理它:
for line in f:
....
一旦脚本完成,它将经常运行,所以我开始考虑这种读取对我的磁盘寿命有什么影响.
脚本是否会逐行读取或者是否存在某种由OS驱动的缓冲？如果没有,我应该自己实现某种中间缓冲区吗？击中通常实际上有害的磁盘？我记得读过一些关于BitTorrent快速磨损磁盘的东西正是因为这种按位读/写而不是使用更大块的数据.
我在我的测试环境中同时使用HDD和SSD,因此两个系统的答案都很有趣.