我打算在我正在使用的应用程序中使用webcrawling.我对Nutch做了一些研究并使用它进行了一些初步测试.但后来我遇到了scrapy.但是当我做了一些初步研究并浏览了关于scrapy的文档时,我发现它只能捕获结构化数据(你必须给出你想要捕获数据的div名称).我正在开发的应用程序的后端基于Python,我理解scrapy是基于Python的,有些人认为scrapy比Nutch更好.
我的要求是从1000多个不同的网页中捕获数据,并在该信息中搜索相关的关键字.scrapy可以满足相同的要求.
1)如果是,你能指出一些如何做到的例子吗？
2)或Nutch + Solr最适合我的要求