将大文件分解成小块

Question

如何将一个+4GB的大文件分解为每个大约500MB 的较小文件。

以及如何重新组合它们以获取原始文件？

Answer 1

您可以使用split和cat。

例如类似的东西

$ split --bytes 500M --numeric-suffixes --suffix-length=3 foo foo.

（其中输入文件名foo和最后一个参数是输出前缀）。这将创建文件，如foo.000 foo.001...

带有短选项的相同命令：

$ split -b 100k -d -a 3 foo foo

如果您希望它在行边界而不是确切的字节数上拆分，您还可以指定“--line-bytes”。

要再次重新组装生成的部件，您可以使用例如：

$ cat foo.* > foo_2

（假设 shell 对 shell globbing 的结果进行排序 - 并且部件的数量不超过系统相关的参数限制）

您可以通过以下方式比较结果：

$ cmp foo foo_2
$ echo $?

（应该输出0）

或者，您可以使用 find/sort/xargs 的组合来重新组装这些部分：

$ find -maxdepth 1 -type f -name 'foo.*'  | sort | xargs cat > foo_3