我想知道是否有办法将unix文本文件连接在一起比运行更快file1？
这是我面临的问题.我正在处理一个大小为100G的文本文件.我试图通过将文件分成数百个较小的文件并并行处理来改善运行时.最后,我按顺序将生成的文件重新组合在一起.文件读/写时间本身需要数小时.我想找到一种方法来改善以下方面:
cat file1 file2 file3 ... fileN >> newBigFile
这需要将磁盘空间加倍,因为fileN...... newBigFile占用100G,然后file1需要另外100Gb,然后fileN...... file1被删除
数据已经在fileN...中cat >>,file1当我真正需要的是数百个文件重新出现为1个文件时,会产生读写时间......