终端命令从1,000,000 .json文件创建.tar.gz文件(不包括任何目录)

Question

我有一个带有1,000,000个.json文件的目录,并使用以下命令j.tar.gz仅从json文件构建(不包括/Library/WebServer/a/a/e/j/路径):

cd /Library/WebServer/a/a/e/j && tar -zcvf j.tar.gz *.json

发生了这个错误:...Argument list too long.你会建议一个更好的命令来完成这项任务吗？谢谢.

Answer 1

最初的警告:tar不是标准定义的工具(POSIX归档程序pax),因此它的行为可以在平台之间变化,而没有任何最小的保证基线.你的旅费可能会改变.

由于这是标记的bash,您可以使用<()- 进程替换 - 生成一个文件名,在读取时,它将发出子进程的输出,而不需要临时文件.(/dev/fd如果您的操作系统支持,则通常将其实现为名称,否则将实现为命名管道).

如果你只想要cd应用tar命令,你可以按如下方式执行,将它放在子shell中并使用exec子shell将tar命令替换为自己,避免了子shell以其他方式创建的fork惩罚:

dir=/Library/WebServer/a/a/e/j
(cd "$dir" && exec tar --null -zcvf j.tar.gz -T <(printf '%s\0' *.json) )

或者,如果您tar支持它,您可以使用--include告诉tar自己过滤名称:

tar -C "$dir" --include='*.json' -cvzf "$dir/j.tar.gz" .

注意事项:

• printf '%s\n' *.json是免于这个因为printf是内置的壳; 因此,glob结果不会放入execv-family系统调用的参数中,因此ARG_MAX不适用.
• 使用--nullon find和'%s\0'on printf(或者-print0如果您生成名称列表find)可以防止带有文字换行符的恶意生成的名称无法将任意名称注入流中.想想如果有人跑了会发生什么mkdir -p $'hello/\n/etc/passwd\n.json'- 你不想/etc/passwd进入你的tarball.