标签: googlebot

我有我的博客(如果你愿意,可以从我的个人资料中看到它),它是新鲜的,以及谷歌机器人解析结果.

结果让我感到震惊.显然,我网站上最常见的2个单词是"rss"和"feed",因为我使用文本链接,如"评论RSS","发布Feed"等.这两个单词将出现在每个帖子中,而其他单词会更罕见.

有没有办法让这些链接从Google的解析中消失？我不希望技术链接被编入索引.我只希望内容,标题,描述被编入索引.我正在寻找除了用图像替换这个文本以外的东西.

从2007年开始,我在Google上发现了一些旧的讨论(我认为在3年内很多事情都可能发生变化,希望这也是如此)

这个问题不是关于robots.txt以及如何让Google忽略网页.它是关于让它忽略页面的一小部分,或者以一种人类可以看到并且机器人看不见的方式转换部件.

假设我在http://example.com上有一个网站.我真的很想让机器人看到主页,但是任何其他页面都需要被阻止,因为它对蜘蛛来说毫无意义.换一种说法

http://example.com和http://example.com/应该被允许的,但 http://example.com/anything和http://example.com/someendpoint.aspx应该被阻止.

此外,如果我可以允许某些查询字符串直接进入主页,那将是很棒的:http: //example.com？okparam = true

但不是 http://example.com?anythingbutokparam=true

自5月底以来,我在网站站长工具/ Google搜索控制台的智能手机抓取错误页面中出现了很多新的404错误.所有这些都以/ m /或/ mobile /开头,其中没有一个是现有的,也没有链接到网站上的任何地方.

例如,我在http://www.example.com/mobile/foo-bar/和http://www.example.com/m/foo-bar页面上有404错误.根据Search Console,这些页面在现有页面http://www.example.com/foo-bar/中链接,但它们不是.

Googlebot是否决定自己寻找每个页面的移动版本？我可以禁用此行为吗？这是因为我的网站还不适合移动设备(我收到了Google的另一条警告信息).

在过去的几天里,当谷歌机器人试图访问我们的主页(欢迎/索引)时,我们已经开始收到丢失的模板错误.我一直盯着这几个小时,知道我只是缺少一些简单的东西.

A ActionView::MissingTemplate occurred in welcome#index:
Missing template welcome/index with {:handlers=>[:erb, :rjs, :builder, :rhtml, :rxml, :haml], :formats=>["*/*;q=0.9"], :locale=>[:en, :en]}

但模板确实存在(index.html.haml).如果没有,没有人可以访问我们的主页.

以下是一些其他环境信息:

* REMOTE_ADDR                               : 66.249.72.139
* REMOTE_PORT                               : 56883
* REQUEST_METHOD                            : GET
* REQUEST_URI                               : /

* Parameters: {"controller"=>"welcome", "action"=>"index"}

您将获得任何见解将不胜感激.

我想告诉谷歌不要索引页面的某些部分,在yandex(俄语se)中有一个非常有用的标签叫做<noindex>.怎么用谷歌呢？

我试图告诉谷歌和其他搜索引擎不要抓取我的网页的某些部分.

我所做的是:

<!--googleoff: all-->

<select name="ddlCountry" id="ddlCountry">
<option value="All">All</option>
<option value="bahrain">Bahrain</option>
<option value="china">China</option>
</select>

<!--googleon: all-->

在我上传页面后,我注意到搜索引擎在googleoff标记内仍在渲染元素.

难道我做错了什么？

我们有一个使用HTML5路线的AngularJS网站.我刚做了一些测试"Fetch as Google"运行.结果有点令人困惑:

• 在提取选项卡上,我看到我们的网站在视图源上查看,包含所有前端绑定{{}},而不是所有呈现的HTML
• 在渲染选项卡上,我们的网站看起来非常精细,没有{{}}个变量,看起来像谷歌机器人获取并使网站正常,这可能符合这一点,http://googlewebmastercentral.blogspot.ae/2014/ 05/rendering-pages-with-fetch-as-google.html.

但是,我们已准备好让Google无法抓取我们的网站,因此我们已添加,因此Google僵尸程序会使用"？_escaped_fragment_ ="重新访问我们的网页.我们按照此说明操作,https://developers.google.com/webmasters/ajax-crawling/docs/getting-started("处理没有散列片段的页面"一节).在我们的Nginx配置中,我们有这样的东西:

if ($args ~ "_escaped_fragment_=") {
    serve the static HTML snapshots
}

,如果我们传递_escaped_fragment_ =我们自己,它确实工作正常.但是,Google僵尸程序从未尝试使用此参数抓取我们的网站,因此它从不抓取快照.我们错过了什么吗？我们是否还应该在我们的Nginx配置中为Google bot添加代理检测功能？像这样的东西？

if ($http_user_agent ~* "googlebot|yahoo|bingbot|baiduspider|yandex|yeti|yodaobot|gigabot|ia_archiver|facebookexternalhit|twitterbot|developers\.google\.com") {            

server from snapshots

}

如果我们能够更好地理解这一点会很棒,非常感谢你!

更新:
我刚看过这个,http ://scotch.io/tutorials/javascript/angularjs-seo-with-prerender-io？ _ escaped_fragment_ = tag #caveats.因此,似乎在使用手动工具(Fetch as Google)时,我们应该自己通过#!或？_escaped_fragment_ =在正确的地方.实际上,如果我在我们的案例中传递了？_escaped_fragment_ =,我确实看到了我们创建的HTML快照.

真的吗？这是如何工作的吗？

更新2 在此主题的底部,Google员工会验证Google网站管理员"抓取为Google",您需要自己手动传递_escaped_fragment_ =参数,https: //productforums.google.com/forum/#!msg /站长/ fZjdyjq0n98/PZ-nlq_2RjcJ

干杯,
伊拉克利斯

几个小时我的网站服务器负载太大.
我应该将哪个HTTP状态代码发送到访问我网站的Googlebot？

" 269 Call Back Later "是否适用于此案例,或者503服务不可用或您还有其他建议吗？

我使用jQuery通过json请求从数据库中检索内容.然后它将HTML中的通配符(如%title%)替换为实际内容.这很好用,这样我就可以在数据库中维护我的多语言文本,但Googlebot只能看到通配符,而不是实际的内容.我知道Googlebot看到没有javascript的网页,但是有办法解决这个问题吗？谢谢!

我正在开发基于Angular2的Web应用程序.我使用Angular CLI生成应用程序,然后为prod构建它.我在AWS S3和Cloudfront上托管了网站.当我使用网站站长中的"抓取为Google"工具时,它仅显示Loading....

Googlebot不能抓取我的网站吗？