使用python从服务器迭代一个大的20+ gb文件

Question

嗨我在服务器上有大约16个20+ gb文件,我需要从中读取特定条目,如果我有一个保存在我的计算机上的文件,我的代码正常工作,以正确的顺序读取文件

f = open('biodayk1.H2009', 'rb')

lbl = array.array('f')

bio = 0 for day in range(iday):
    f.seek(nx*ny*km*bio*4, 1)
    lbl.read(f, nx*ny*km)    #reads the desired ibio
    f.seek(nx*ny*km*(10 - bio)*4, 1) #skips the next ibios 
f.close()

现在我需要从服务器读取文件而不下载每个文件.我正在调查paramiko,并能够连接到服务器,但我不太确定如何迭代文件,只是返回我想要的.如果您需要更多信息或需要我回答任何问题,请询问.提前致谢.

Answer 1

你是......为了痛苦.我建议你按照rsync路由编写一个在服务器上运行的脚本,它提供你感兴趣的字节.你可以通过paramiko创建的文本通道与它通信.