big*_*lee 7 indexing search-engine bots
在阅读并评论这个问题PHP库以保持您的网站索引由谷歌,Bing等,我很好奇看看StackOverFlow的站点地图.这返回了一个404错误,我猜测它只是一个受保护的页面,通过确定你是一个索引机器人还是根本不存在.
然后引导我查看StackOverFlow 的robots.txt.我很惊讶地看到评论"Yahoo bot is evil"以及其他一些Indexing机器人(Spinn3r和KSCrawler).我对Spinn3r和KSCrawler不感兴趣,但我的问题是,为什么这些机器人(特别是雅虎)被认为是邪恶的？当然任何搜索引擎的索引都是好事吗？