如何下载完整的网站,但忽略所有二进制文件。
wget
使用该-r
标志具有此功能,但它可以下载所有内容,并且某些网站对于资源不足的机器来说太多了,并且由于我正在下载该网站的特定原因,它没有用。
这是我使用的命令行:(wget -P 20 -r -l 0 http://www.omardo.com/blog
我自己的博客)
我想使用wget
递归下载网页。递归我的意思是它可能指向的所有其他文件也应该下载。原因是我希望能够合理地离线查看其内容。
我需要下载的网页也链接到同一网站上的其他页面,我希望我也可以下载它们。
可以这样做wget
吗?有什么标志吗?
我wget
在 bash 脚本中使用从网站获取文件列表,文件是顺序的,格式http://example.com/00001.csv
等。
当我点击最后一个文件时,有没有办法终止/结束脚本?
这是我到目前为止的脚本。
#!/bin/bash
url="example.com";
for a in {00000001..18923230} do
wget -nc -q ${url}$a.csv
done
Run Code Online (Sandbox Code Playgroud)