是否存在任何开放的,可扩展的网络爬虫？

Question

我搜索一个网络爬虫解决方案,它可以很成熟,可以简单地扩展.我对以下功能感兴趣...或者扩展爬虫以满足它们的可能性:

• 部分只是为了阅读几个网站的供稿
• 废弃这些网站的内容
• 如果该网站有一个存档我想抓取并索引它
• 爬虫应该能够为我探索网络的一部分,它应该能够决定哪些网站符合给定的标准
• 如果找到可能符合我兴趣的东西,我应该能够通知我
• 爬虫不应该通过太多的请求攻击它来杀死服务器,它应该聪明地进行爬行
• 爬虫应该能够抵御怪胎网站和服务器

上面的内容可以一个接一个地完成而不需要付出太大的努力,但我对任何提供可定制的,可扩展的爬虫的解决方案感兴趣.我听说过Apache Nutch,但到目前为止对这个项目非常不确定.你有经验吗？你能推荐替代品吗？

Answer 1

在GitHub上快速搜索后发现了Anemone，这是一个网络蜘蛛框架，它似乎符合您的要求 - 特别是可扩展性。用 Ruby 编写。
希望一切顺利！