red*_*ddy 4 regex bash awk grep sed
我目前正在文件中搜索多个模式.该文件大小为90GB,我在特定字段(每行6-17位)搜索.我试图获得包含任何特定数字列表的所有行.我使用的当前语法是:
grep '^.\{6\}0000000012345\|^.\{6\}0000000012543' somelargeFile.txt > outputFile.txt
对于少量的模式,这是有效的.对于大量模式,我得到"参数列表太长"错误.
我尝试过的另一种方法是分别搜索每个模式(在模式上使用for循环),但这需要多次传递大数据文件(57102722行),这是无效的.
根据我对"参数列表太长"错误的理解,它通常与bash cmds有关,而不是特定于grep.有没有可用于解决此错误的设置？或者,有关如何使用awk或sed或其他工具执行此操作的任何想法？
谢谢!
您可以通过将模式放在文件中,并使用-f命令行选项grep 来避免此问题.
最方便的是将每个替代项放在文件的单独行中:
^.\{6\}0000000012345
^.\{6\}0000000012543
grep -f patterns.txt somelargeFile.txt > outputFile.txt