为什么Googlebot会抓取未在任何地方引用的/ mobile/*和/ m/*页面?

Iwa*_*aru 21 mobile seo googlebot google-webmaster-tools

自5月底以来,我在网站站长工具/ Google搜索控制台的智能手机抓取错误页面中出现了很多新的404错误.所有这些都以/ m /或/ mobile /开头,其中没有一个是现有的,也没有链接到网站上的任何地方.

例如,我在http://www.example.com/mobile/foo-bar/http://www.example.com/m/foo-bar页面上有404错误.根据Search Console,这些页面在现有页面http://www.example.com/foo-bar/中链接,但它们不是.

Googlebot是否决定自己寻找每个页面的移动版本?我可以禁用此行为吗?这是因为我的网站还不适合移动设备(我收到了Google的另一条警告信息).

小智 0

您可以在 robots.txt 中阻止这些目录,但这只是一种解决方法。更好的选择是弄清楚 Googlebot 到底从哪里获取这些 URL。

如果您分享了一个示例页面 URL,其中 Google 表示您有指向 /mobile 页面的链接,我可以查看它并找出该页面在哪里被获取。

不,谷歌不仅仅发明了目录来抓取您可能随机潜入移动页面的机会:)