我的任务相对简单:对于输入文件中的每一行,测试该行是否满足给定的条件集,如果满足,则将该行的特定列写入新文件.我已经编写了一个python脚本来执行此操作,但我想要一些帮助1)提高速度,2)在列名称方面工作的最佳方式(因为列号可能因文件而异),以及3 )指定过滤条件和所需输出列的最佳方法.
1)我使用的文件包含天文图像的测光.每个文件大约1e6行,150列浮点数,通常超过1GB.我有一个旧的AWK脚本,将在大约1分钟内处理这样的文件; 我的python脚本需要5到7分钟.我经常需要调整过滤条件并重新运行几次,直到输出文件是我想要的,所以速度绝对是可取的.我发现for循环很快; 这就是我在循环中做的事情,它减慢了它的速度.使用itemgetter来挑选我想要的列比将整行读入内存有了很大的改进,但我不确定我能做些什么来进一步提高速度.这可能和AWK一样快吗？
2)我想用列名而不是列号来工作,因为特定数量的列号(光子数,背景,信噪比等)可以在文件之间改变.在我的AWK脚本中,我总是需要检查在指定条件和输出列的情况下列号是否正确,即使过滤和输出适用于相同的数量.我在python中的解决方案是创建一个字典,为每个数量分配一个列号.当文件具有不同的列时,我只需要指定一个新的字典.也许有更好的方法来做到这一点？
3)理想情况下,我只需要指定输入和输出文件的名称,过滤条件和要输出的所需列,它们可以在我的脚本顶部找到,所以我不需要去搜索代码只是为了调整一些东西.我的主要问题是未定义的变量.例如,典型的条件是'SNR> 4',但是在从测光文件开始读取行之前,实际上没有为'SNR'(信噪比)分配值.我的解决方案是使用字符串和eval/exec的组合.再说一次,也许有更好的方法？
我从未接受过计算机科学方面的培训(我是天文学的研究生) - 我通常只是将一些东西放在一起并调试直到它起作用.然而,就我的三点而言,优化对我的研究来说变得非常重要.我为冗长的帖子道歉,但我觉得细节会有所帮助.除了清理/编码风格之外,您对我的任何建议都将非常感激.
非常感谢,杰克
#! /usr/bin/env python2.6
from operator import itemgetter
infile = 'ugc4305_1.phot'
outfile = 'ugc4305_1_filt.phot'
# names must belong to dicitonary
conditions = 'OBJ <= 2 and SNR1 > 4 and SNR2 > 4 and FLAG1 < 8 and FLAG2 < 8 and (SHARP1 + SHARP2)**2 < 0.075 and (CROWD1 + CROWD2) < 0.1'
input = 'OBJ, SNR1, SNR2, FLAG1, FLAG2, SHARP1, SHARP2, CROWD1, CROWD2'
# should contain all quantities …