我正在尝试使用 wget -r 抓取本地站点,但没有成功:它只下载第一页,并没有更深入。顺便说一句,我很不成功,以至于我尝试的任何网站都不起作用...... :)
我尝试了各种选择,但没有更好的情况发生。这是我认为可以使用的命令:
wget -r -e robots=off --user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" --follow-tags=a,ref --debug `http://rocky:8081/obix`
Run Code Online (Sandbox Code Playgroud)
真的,我一点头绪都没有。我读到的关于 wget 的任何网站或文档都告诉我它应该简单地与 wget -r 一起使用,所以我开始认为我的 wget 有问题(我在 Fedora 16 上)。
任何的想法?
编辑:这是我得到的输出wget -r --follow-tags=ref,a http://rocky:8081/obix/
:
wget -r --follow-tags=ref,a
http://rocky:8081/obix/
--2012-10-19 09:29:51--http://rocky:8081/obix/
解析rocky... 127.0.0.1 连接到rocky|127.0.0.1|:8081...连接。HTTP 请求已发送,正在等待响应... 200 OK 长度:792 [text/xml] 保存到:“rocky:8081/obix/index.html”100%[============================================== ================================>] 792 --.-K/s in 0s
2012-10-19 09:29:51 (86,0 MB/s) - “rocky:8081/obix/index.html”保存 [792/792]
完成 --2012-10-19 09:29:51-- 下载:1 个文件,792 个 0s (86,0 MB/s)
通常不需要提供用户代理。
给出以下内容就足够了:
wget -r http://stackoverflow.com/questions/12955253/recursive-wget-wont-work
Run Code Online (Sandbox Code Playgroud)
要了解为什么 wget 没有执行您想要的操作,请查看它为您提供的输出并将其发布在此处。