如何使用linux命令行批量下载数据？

Question

例如我想从以下位置下载数据： http: //nimbus.cos.uidaho.edu/DATA/OBS/

与链接：

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

到

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

我怎样才能编写一个脚本来下载所有这些？以及wget如何循环从 1979 年到 2015 年的链接？

Answer 1

wget可以将文件作为输入，其中每行包含 URL。

wget -ci url_file

-i：输入文件
-c：恢复功能

因此，您需要做的就是将 URL 放入文件中并通过 wget 使用该文件。

像Jeff Puckett II 的答案这样的简单循环足以满足您的特定情况，但如果您碰巧处理更复杂的情况（随机 url），此方法可能会派上用场。