Roc*_*aco 5 sitemap wordpress search-engine robots.txt google-webmaster-tools
我们有一个偶然的情况,我们的Wordpress网站设置robots.txt设置为禁止爬行约7天.我现在正在尝试清理网站管理员工具说"网站地图包含被robots.txt阻止的网址".在我调整了robots.txt并允许抓取之后.没有理由为什么URL仍会被阻止,当我访问这些示例时,它们看起来没问题.
Robots.txt网址:http://bit.ly/1u2Qlbx
站点地图网址:http://bit.ly/1BfkSmx
根据网站站长工具,robots.txt阻止的网址:http://bit.ly/1uLBRea或http://bit.ly/1CsrHnr
不用担心,如果您再次启用了网址,Google的网络抓取工具会再次注意并抓取您的网页.该消息将在几天内从GWT消失.
最后,您可以使用GWT的相应功能测试您的robots.txt.
小智 5
使用这个插件
https://wordpress.org/plugins/wp-robots-txt/
它将删除以前的robots.txt并设置简单的wordpress robots.txt并等待一天
问题可以解决.
| 归档时间： |
|
| 查看次数： |
9967 次 |
| 最近记录： |