小编drk*_*drk的帖子

我有大约350个文本文件(每个文件大约75MB).我正在尝试合并所有文件并删除重复的条目.该文件采用以下格式:

ip1,dns1
ip2,dns2
...

我写了一个小的shell脚本来做这件事

#!/bin/bash
for file in data/*
do
    cat "$file" >> dnsFull
done
sort dnsFull > dnsSorted
uniq dnsSorted dnsOut
rm dnsFull dnsSorted

我经常进行这种处理,并且想知道下次运行时我是否可以采取任何措施来改进处理.我对任何编程语言和建议持开放态度.谢谢!