我需要使用ASP.NET MVC 3构建像Google这样的小型搜索引擎.对于这个,我还需要构建一个为搜索引擎填充数据的网络爬虫.总之,我需要以下内容:
如何使用带有C#的Asp.net MVC3构建Web爬虫.我开始建立一些基本但我需要一些指南,资源和书籍.
使用此Web爬网程序,我将搜索引擎的数据打包,并使用Lucene.Net对数据应用索引.我需要建立一个小型搜索引擎来搜索网络爬虫填充的数据.
请任何机构有任何想法或资源或书籍.请与我们分享.
lucene lucene.net robots.txt web-crawler asp.net-mvc-3
asp.net-mvc-3 ×1
lucene ×1
lucene.net ×1
robots.txt ×1
web-crawler ×1