为什么Google(或Googlebot)会将页面索引返回500错误?

sha*_*wnr 7 indexing seo search-engine googlebot

Googlebot偶尔会使用错误的查询字符串参数为我们的某个网站编制索引.我不确定它是如何得到这个查询字符串参数(似乎没有任何网站链接到我们与坏链接,我们网站中没有任何东西插入坏值).坏参数导致网站抛出500错误,正如我们所期望的那样.

我的印象是Google不会将返回500错误的网页编入索引,但事实证明确实如此.所以现在我有两个问题:

1)为什么Googlebot会插入随机错误的查询字符串值?(我真的不关心这个问题的答案,但如果我们能做些什么来避免这个问题,它就能解决我们的问题.)

2)为什么谷歌索引一个返回500错误的页面?

以下是Googlebot创建的以及Google已编入索引的错误链接之一:

http://www.pbs.org/teacherline/catalog/browse/?sa=4&gb=baqhuxts&gb=20&gb=21&num=20&page=2&js=0&sa=1

坏参数是gb = baqhuxts.参数'gb'应该是一个整数.如果从查询字符串中删除该参数,则应该显示一个很好的目录页面.

关于nofollow和robots.txt解决方案:[删除]

我现在意识到我是一个白痴,并把一个元标记告诉搜索机器人索引页面.这是一件愚蠢的事情.我正在删除那些.W-(

如果您在Google上搜索"baqhuxts",您会发现它已使用此错误参数索引了10个页面.但是每个页面都返回500错误.有没有人了解Google为什么认为这些是有效的索引页面?

Dan*_*plo 4

这可能是因为您告诉 Google 通过在元标记中包含以下内容来对其进行索引:

<meta name="robots" content="index,follow">
Run Code Online (Sandbox Code Playgroud)

尝试删除它!:)