小编Bef*_*all的帖子

如果任何产生的子进程失败,杀死所有并退出

在我的脚本中,我将数据集拆分为 input_aa、input_ab 等。然后,我通过相同的 Python 脚本运行每一个,如下所示:

# Execute program on each split file
for part in input_*; do
        python3 $part &
done
wait
Run Code Online (Sandbox Code Playgroud)

我的问题有两个:如何检测 Python 进程失败,以及检测到时,如何杀死所有生成的子进程并以失败退出脚本?

shell bash python

9
推荐指数
2
解决办法
3115
查看次数

如何等待并行化进程的执行并将输出拼接在一起?

在 Unix 上做事情很新,希望制作一个按顺序执行以下操作的脚本:

  • 取主 .tsv 文件,分成 X 个文件,每个文件有 Y 行
  • 通过程序运行每个拆分文件,完成后输出一个新的 .tsv 文件
  • 等到所有分割文件处理完毕,然后将输出文件拼接成一个。

我知道使用splitsed分割文件,我无法想象让分割文件通过 Python 脚本运行也很难,但问题是找出并行化程序的所有执行何时完成,然后拼接它们的输出合二为一。

随着split我知道它自动递增的名字,以及是否可以并行质量它在这太问题见过,所以我可以计算的那部分。有没有办法检查一组并行化的 Python 脚本的执行状态?我怎样才能完成我想做的事?

sed split

5
推荐指数
1
解决办法
289
查看次数

标签 统计

bash ×1

python ×1

sed ×1

shell ×1

split ×1