GNU Parallel,输入文件太多,参数列表太长

syg*_*syg 6 unix parallel-processing macos

我使用 GNU Parallel 在我的 macbook 上运行这样的命令:

parallel "sample operation" ::: samplefolder/*.txt
Run Code Online (Sandbox Code Playgroud)

问题是我在 .txt 中有 20,000 个 txt 文件samplefolder,这会导致Argument list too long错误。

当我尝试在 ubuntu 机器上运行相同的脚本时,没有这样的问题。

我尝试谷歌搜索并阅读一些man文件,但没有运气。我怎么解决这个问题?

谢谢!

Ole*_*nge 4

尝试:

ls samplefolder | grep \.txt | parallel "sample operation samplefolder/{}" 
Run Code Online (Sandbox Code Playgroud)

  • 这是真的。我担任系统管理员已经 15 年了。我从来没有看到过带有换行符的文件名 - 除非它是我为了测试而创建的。除非你有恶意用户,否则我认为这种情况永远不会发生。 (2认同)