hol*_*ian 3 html indexing ajax
大师,
在我们的网站上,我们通过Ajax调用加载相同的内容.(当用户点击菜单时,只是为了防止再次重新加载整个页面,以改善用户体验)
所以这很好用,但实际上这个加载Ajax的内容实际上是原始内容的副本.
我可以阻止Google将此内容编入索引吗？
http://dinox-h.hu/en/gallery.php
在左侧菜单中,您可以看到链接:
例如:
尝试在Ajax交付的页面上添加以下内容:
<meta name="robots" content="noindex,nofollow" />
这将告诉网站抓取工具不抓取该网页.您也可以添加页面robots.txt,如下所示:
User-agent: *
Disallow: /*?ajax=1
这将阻止任何URL ?ajax=1被索引(提供机器人尊重你robots.txt).更好的解决方案还包括创建站点地图并告知各种搜索引擎.
编辑 提供Ajax内容的更好方法IMO将在通过Ajax请求您的页面时发送以下标头:
X-Requested-With: XMLHttpRequest
jQuery默认会这样做,所以如果你可以在服务器端检查它,你可以提供你常用的内容,例如没有模板.然后,您可以非常轻松地从同一URL提供不同的内容,具体取决于请求的类型.这也应该解决您的爬行问题,因为我怀疑爬虫会偶然发现它.