标签: parallelism

我有以下 bash 脚本：

for i in {0800..9999}; do
    for j in {001..032}; do
        wget http://example.com/"$i-$j".jpg
    done
done

所有照片都存在，实际上每次迭代都不依赖于另一个。如何在控制线程数的情况下并行化它？

假设我有多个并行运行的 bash 脚本，代码如下：

#!/bin/bash

tail -f /dev/null &
echo "pid is "$!

为$!保证给我最近的后台任务的PID该脚本，或者是最近的后台任务在全球范围？我只是好奇，当它返回的 PID 来自另一个脚本中启动的进程时，依赖此功能是否会导致竞争条件。

这是我现在所做的，

sort -T /some_dir/ --parallel=4 -uo file_sort.csv -k 1,3 file_unsort.csv

该文件是 90GB，我收到此错误消息

sort: close failed: /some_dir/sortmdWWn4: Disk quota exceeded

以前，我没有使用 -T 选项，显然 tmp 目录不足以处理这个问题。我当前的目录有大约 200GB 的可用空间。排序临时文件还不够吗？

我不知道并行选项是否会影响事情。

我在高级目录中有几个子目录。每个子目录都有几个文件和一个 for 循环 shell 脚本。每个子目录中都存在相同的 for 循环脚本。我想进入每个子目录并在多个终端中并行运行 for 循环脚本。我试过这个，但它似乎是连续执行的（一个接一个），但我想并行运行所有这些。

find dir_* -type f -execdir sh for_loop.sh {} \;

在 bash 脚本中，我有一个这样的程序

for i in {1..1000}
do
   foo i
done

我用参数调用函数foo1000 次i

如果我想让它在多进程中运行，但不是同时运行，我该怎么办？

所以如果我有

for i in {1..1000}
do
   foo i &
done

它会同时启动所有 1000 个进程，这不是我想要的。

有没有办法确保始终有 100 个进程在运行？如果某些过程完成，则开始一些新的过程，直到所有 1000 次迭代完成。或者，我可以等到所有 100 个都完成后，再运行另外 100 个。

我在跑A file | B --params > file.txt。由于我想加快处理速度，所以我使用了parallel -j+0< a.txt并发运行 20 个作业。a.txt 包含所有命令：

A file1 | B --params > file1.txt 

A file2 | B --params > file2.txt

A fileN | B --params > fileN.txt

这种方式安全吗？并行运行时，来自不同程序的标准输出会被弄乱吗？

我正在考虑使搜索更快和/或更好的方法，主要使用fgrepor ag。and不区分大小写地搜索单词at$HOME并将匹配列表重定向到的代码vim

find -L $HOME -xtype f -name "*.tex" \
   -exec fgrep -l -i "and" {} + 2>/dev/null | vim -R -

这是更快，有ag因为并行的和ack

find -L $HOME -xtype f -name "*.tex" \
   -exec ag -l -i "and" {} + 2>/dev/null | vim -R -

统计数据

小群的平均统计信息fgrep，并ag通过time

        fgrep   ag     terdon1  terdon2  terdon3  muru 
user    0.41s   0.32s  0.14s    0.22s    0.18s    0.12s
sys     0.46s   0.44s  0.26s    0.28s    0.30s …