如何在Bash中并行运行给定的函数？

Question

有一些类似的问题,但我的问题不是"并行运行几个程序" - 这可以通过parallel或琐事完成xargs.

我需要并行化Bash函数.

让我们想象这样的代码:

for i in "${list[@]}"
do
    for j in "${other[@]}"
    do
    # some processing in here - 20-30 lines of almost pure bash
    done
done

某些处理需要调用外部程序.

我想运行一些(4-10)任务,每个任务运行不同$i.$ list中的元素总数> 500.

我知道我可以将整个for j ... done循环放在外部脚本中,并且只是并行调用该程序,但是可以不在两个单独的程序之间分割功能吗？

Answer 1

sem是GNU Parallel的一部分,是针对这种情况而制作的.

for i in "${list[@]}"
do
    for j in "${other[@]}"
    do
        # some processing in here - 20-30 lines of almost pure bash
        sem -j 4 dolong task
    done
done

如果你更喜欢这个函数,GNU Parallel可以一次性完成双for循环:

dowork() { 
  echo "Starting i=$1, j=$2"
  sleep 5
  echo "Done i=$1, j=$2"
}
export -f dowork

parallel dowork ::: "${list[@]}" ::: "${other[@]}"

Answer 2

编辑:请考虑Ole的回答.

您可以将代码放在单独的bash函数中,而不是单独的脚本.然后,您可以导出它,并通过xargs运行它:

#!/bin/bash
dowork() { 
    sleep $((RANDOM % 10 + 1))
    echo "Processing i=$1, j=$2"
}
export -f dowork

for i in "${list[@]}"
do
    for j in "${other[@]}"
    do
        printf "%s\0%s\0" "$i" "$j"
    done
done | xargs -0 -n 2 -P 4 bash -c 'dowork "$@"' -- 

Answer 3

并行运行多行命令的解决方案：

for ...your_loop...; do
  if test "$(jobs | wc -l)" -ge 8; then
    wait -n
  fi

  {
    any bash commands here
  } &
done
wait

在你的情况下：

for i in "${list[@]}"
do
  for j in "${other[@]}"
  do
    if test "$(jobs | wc -l)" -ge 8; then
      wait -n
    fi

    {
      your
      multi-line
      commands
      here
    } &
  done
done
wait

如果已经有 8 个 bash 作业正在运行，wait则将等待至少一个作业完成。如果/当作业较少时，它会异步启动新作业。

这种方法的好处：

1. 多行命令非常容易。您的所有变量都会在范围内自动“捕获”，无需将它们作为参数传递
2. 它相对较快。例如，将此与并行（我引用官方man）进行比较：

并行启动时很慢 - 第一次大约 250 毫秒，之后大约 150 毫秒。

3. 只需要bash工作。

缺点：

1. 有可能在我们统计的时候有 8 个工作岗位，但当我们开始等待时就少了。（如果作业在两个命令之间的那几毫秒内完成，就会发生这种情况。）这会使我们wait的作业少于所需的数量。但是，它将在至少一个作业完成时恢复，或者如果有 0 个作业正在运行（wait -n在这种情况下立即退出），它将立即恢复。
2. 如果您已经&在同一个 bash 脚本中异步运行了一些命令 ( )，那么循环中的工作进程就会更少。