小编Ama*_*ngh的帖子

python脚本的并行处理

我有一个 python 脚本,它一次接受一个输入并处理它。我想同时使用不同的输入并行运行脚本。类似于 50 或 100 次,但使用来自 txt 文件的不同输入源。

我执行如下脚本:

python script.py -d url1 
Run Code Online (Sandbox Code Playgroud)

然后

python script.py -d url2
Run Code Online (Sandbox Code Playgroud)

然后

python script.py -d url3
Run Code Online (Sandbox Code Playgroud)

我不想一次输入一个参数,而是想从文本文件中提供这些 url 并并行处理它们。

我尝试使用 gnu-parallel 在 bash shell 中运行此脚本,但 bash 脚本不运行 python shell,因此出现错误。

代码如下---

#!/usr/bin/env bash
doit() {
    host="$1"
    ~/script/python script1.py -d $host
      }
   export -f doit

   cat "$1" | parallel -j50 -k doit 
Run Code Online (Sandbox Code Playgroud)

txt文件的内容---

url1.com
url2.com
url3.com
--------
url1000.com
url_any.com
Run Code Online (Sandbox Code Playgroud)

python parallel-processing multiprocessing gnu-parallel

1
推荐指数
1
解决办法
4511
查看次数