相关疑难解决方法(0)

拆分文件,将每个部分作为参数传递给脚本,并行运行每个脚本

我有一个包含 10000 个单词(一行)的 words.txt。我有 5,000 个文件。我想查看哪些文档包含哪些单词(单词周围带有正则表达式)。我有一个脚本.sh,它可以搜索文档并输出命中。我想 (1) 将我的输入文件拆分为更小的文件 (2) 将每个文件作为参数提供给 script.sh 并且 (3) 并行运行所有这些。

我基于教程的尝试遇到了错误

$parallel ./script.sh ::: split words.txt # ./script.sh: line 22: split: No such file or directory
Run Code Online (Sandbox Code Playgroud)

我的 script.sh 看起来像这样

#!/usr/bin/env bash

line 1 while read line
line 2  do
        some stuff
line 22 done < $1
Run Code Online (Sandbox Code Playgroud)

我想我可以通过启动 grep 命令的目录中的文件将拆分输出到目录循环中——但是如何优雅而简洁地做到这一点(使用并行)?

scripting bash split parallelism gnu-parallel

6
推荐指数
2
解决办法
4524
查看次数

标签 统计

bash ×1

gnu-parallel ×1

parallelism ×1

scripting ×1

split ×1