我需要为很多网页编制索引,那里有哪些好的webcrawler实用程序?我最好是在接受.NET可以谈论的东西之后,但这不是一个表明.
我真正需要的是我可以提供网站网址的内容,它将跟随每个链接并存储内容以进行索引.
robot web-crawler
robot ×1
web-crawler ×1