在linux中排序多个文件

Question

我有多个(很多)文件; 每个都非常大:

file0.txt
file1.txt
file2.txt

我不想将它们加入到单个文件中,因为生成的文件将是10+ Gigs.每个文件中的每一行包含一个40字节的字符串.这些字符串现在已经很好地排序了(大约1:10步骤是值的减少而不是增加).

我想订购这些线.(如果可能的话就位？)这意味着从末尾的一些file0.txt行将被移动到开头,file1.txt反之亦然.

我正在研究Linux并且对它很新.我知道sort单个文件的命令,但我想知道是否有办法对多个文件进行排序.或许有一种方法可以制作一个由较小的文件制作的伪文件,linux会将其视为单个文件.

我所知道的可以做到:我可以单独对每个文件进行排序并读入file1.txt以找到大于最大值的值file0.txt(并且类似地从末尾抓取行file0.txt),加入然后排序..但这是一个痛苦而且假设没有file2.txt属于的价值file0.txt(但在我的情况下极不可能)

编辑

要清楚,如果文件看起来像这样:

f0.txt
DDD
XXX
AAA

f1.txt
BBB
FFF
CCC

f2.txt
EEE
YYY
ZZZ

我要这个:

f0.txt
AAA
BBB
CCC

f1.txt
DDD
EEE
FFF

f2.txt
XXX
YYY
ZZZ

Answer 1

我不知道一个命令在进行就地排序,但我认为更快的"合并排序"是可能的:

for file in *.txt; do
    sort -o $file $file
done
sort -m *.txt | split -d -l 1000000 - output

将sort在for循环确保输入文件的内容进行分类.如果您不想覆盖原件,只需更改-o参数后面的值即可.(如果您希望文件是已经排序,你可以更改排序声明"仅检查": sort -c $file || exit 1)
第二个sort是高效合并输入文件,同时保持输出排序.
这是通过管道split输出的命令,然后写入后缀输出文件.注意-角色; 这告诉split要从标准输入(即管道)而不是文件中读取.

此外,这里是合并排序如何工作的简短摘要:

Answer 2

它并不完全是您要求的,但sort(1)实用程序可以使用该--merge选项稍微帮助一下.单独对每个文件进行排序,然后对生成的文件堆进行排序:

for f in file*.txt ; do sort -o $f < $f ; done
sort --merge file*.txt | split -l 100000 - sorted_file

(这是每个输出文件100,000行.也许这仍然太小.)

Answer 3

我相信这是您最好的选择，使用股票 linux 实用程序：

分别对每个文件进行排序，例如 for f in file*.txt; do sort $f > sorted_$f.txt; done
使用对所有内容进行排序sort -m sorted_file*.txt | split -d -l <lines> - <prefix>，其中<lines>是每个文件的行数，<prefix>是文件名前缀。（-d告诉 split 使用数字后缀）。

该-m选项排序让它知道输入文件已经排序，因此它可以智能。