Saa*_*him 4 seo facebook google-crawlers
从谷歌网站管理员工具收到通知,404错误的数量已大大增加,在检查爬网错误时,我发现很多错误都应该不存在:
我检查了源代码,但没有找到提到的URL所以不知道谷歌的来源是从哪里来的.这个插件目录甚至不存在.它是一个WordPress安装,因此有一个wp-content/plugins文件夹但没有插件/文件夹.
可能会发生什么...为什么google trynna索引一个不存在的URL并获得404.
网站网址是http://ladiesnightandbrunchesdubai.com 任何帮助将不胜感激.
小智 8
此URL来自Facebook Comments插件.由于它不是绝对URL,因此Google抓取工具认为它指向您的网站.
这之前可能没有发生过因为:
1)Google抓取工具最近开始执行越来越多的javascript - http://googlewebmastercentral.blogspot.be/2015/10/deprecating-our-ajax-crawling-scheme.html如果是这种情况,我们可能会遇到更多这样的问题在我们的网站上使用第三方脚本.
2)也许Facebook评论插件没有相对的URL
解:
告知Google不要通过将这些网址添加到robots.txt来抓取这些网址
Disallow: /plugins/feedback.php
| 归档时间： |
|
| 查看次数： |
1783 次 |
| 最近记录： |