使用 wget 抓取带有 rel="nofollow" 的链接

Question

我有一个网站（http://a-site.com），里面有很多这样的链接。如何使用 wget 抓取和 grep 此类文件链接？

<a href="/user/333333/follow_user" class="btn" rel="nofollow">Follow</a>

我试过这个，但这个命令不会让我得到与 nofollow 的链接。

$ wget --no-verbose -r -l1 http://a-site.com 2>&1

Answer 1

来自这里的信息：

http://skeena.net/kb/wget%20ignore%20robots.txt

尝试：

wget -erobots=off http://your.site.here