遵循重定向后,Wget不会递归下载

Question

这是我使用wget的方式:

wget --recursive --level=10 --convert-links btlregion.ru

页面http://btlregion.ru/重定向到http://www.btlregion.ru/.当我wget像上面那样运行时,它遵循重定向,但只下载该页面 - 而不是所有页面递归.

我已经尝试了--max-redirects=1,--domains=www.btlregion.ru但它不起作用.

如果我wget直接在http://www.btlregion.ru/上调用,则递归下载有效.

Answer 1

你需要使用--span-hosts(-H)--domains:

wget --recursive --level=10 --convert-links -H \
--domains=www.btlregion.ru btlregion.ru

--span-hosts允许wget关注指向其他域的链接,并将其--domains限制为仅跟踪指向所列域的链接,以避免下载Internet.

该选项--domains在某种程度上与直觉相反,只能与之一起使用-H.这在文档中提到,但是以一种难以理解的方式.