如何使用linux命令行批量下载数据？

Question

例如我想从以下位置下载数据： http://nimbus.cos.uidaho.edu/DATA/OBS/

与 link:

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_1979.nc

到

http://nimbus.cos.uidaho.edu/DATA/OBS/pr_2015.nc

如何编写脚本来下载所有这些文件？使用 wget? 以及如何循环从 1979 年到 2015 年的 links？

Answer 1

可能类似于 for 循环遍历预定义系列。

未经测试的代码：

for i in {1979..2015}; do
  wget http://nimbus.cos.uidaho.edu/DATA/OBS/pr_$i.nc
done

Answer 2

wget 可以将文件作为每行包含 URL 的输入。

wget -ci url_file

-i : 输入文件
-c：恢复功能

所以您需要做的就是将 URL 放入一个文件中，然后将该文件与 wget 一起使用。

像 这样的简单循环就足以满足您的特定情况，但如果您碰巧要处理更复杂的情况（随机 url），此方法可能会派上用场。