我有一个 python 脚本,它一次接受一个输入并处理它。我想同时使用不同的输入并行运行脚本。类似于 50 或 100 次,但使用来自 txt 文件的不同输入源。
我执行如下脚本:
python script.py -d url1
Run Code Online (Sandbox Code Playgroud)
然后
python script.py -d url2
Run Code Online (Sandbox Code Playgroud)
然后
python script.py -d url3
Run Code Online (Sandbox Code Playgroud)
我不想一次输入一个参数,而是想从文本文件中提供这些 url 并并行处理它们。
我尝试使用 gnu-parallel 在 bash shell 中运行此脚本,但 bash 脚本不运行 python shell,因此出现错误。
代码如下---
#!/usr/bin/env bash
doit() {
host="$1"
~/script/python script1.py -d $host
}
export -f doit
cat "$1" | parallel -j50 -k doit
Run Code Online (Sandbox Code Playgroud)
txt文件的内容---
url1.com
url2.com
url3.com
--------
url1000.com
url_any.com
Run Code Online (Sandbox Code Playgroud)