使用Mechanize检索网站的所有链接

Question

如何使用该Mechanize库查找网站上的所有链接？

我想以递归方式解析内部链接,以便获取网站的所有链接.

Answer 1

你看过Anemone的宝石吗？它专门为蜘蛛网站创建.

您可以执行以下操作来抓取并打印网站的所有链接:

require 'anemone'

Anemone.crawl("http://www.example.com/") do |anemone|
  anemone.focus_crawl { |page| puts page.links }
end

如果你想要整个方面,排除某些类型的链接,或排除类似的链接,可以选择相应的选项.