fif*_*uri 7 web-crawler nutch web-scraping
我搜索一个网络爬虫解决方案,它可以很成熟,可以简单地扩展.我对以下功能感兴趣...或者扩展爬虫以满足它们的可能性:
上面的内容可以一个接一个地完成而不需要付出太大的努力,但我对任何提供可定制的,可扩展的爬虫的解决方案感兴趣.我听说过Apache Nutch,但到目前为止对这个项目非常不确定.你有经验吗？你能推荐替代品吗？
Jos*_*ury 2
在GitHub上快速搜索后发现了Anemone，这是一个网络蜘蛛框架，它似乎符合您的要求 - 特别是可扩展性。用 Ruby 编写。 希望一切顺利！
归档时间：
15 年，9 月 前
查看次数：
2146 次
最近记录：
12 年，11 月 前