Xargs 和 Wget 在一个小时后停止工作

Question

在具有双核和 4GB RAM 的 Windows XP 上使用 Cygwin 运行脚本

cat url_list.txt | xargs -P50 wget -i

我试图通过4GB的URL来下载（大约 4300 万）

大约第一个小时工作正常，然后 Bash shell 和下载停止，即使它只有 2% 通过 URL 列表。

有什么想法可能是错的？

调试为什么一小时后停止的最佳方法是什么？

Answer 1

wget 可能需要一些时间来下载某些文件。在看起来挂起的期间内存中是否有任何 wget/xargs 进程？如果是这样，它是您使用 -P50 标志分配给 xargs 时的全部 50 个进程，还是它以某种方式超出了该数字或小于该数字，并且没有正确生成新实例？尽管它是在 cygwin 下运行，但请查看 Windows 本身的进程列表，因为每个 wget 下载都应在任务管理器中启动一个实例。