Robots.txt不能正常工作

Question

我使用robots.txt来限制我网站中的一个文件夹.该文件夹由正在构建的站点组成.谷歌已将所有处于测试阶段的网站编入索引.所以我用了robots.txt.我首先提交了该网站,并启用了robots.txt.现在www.mysite.com/robots.txt的状态是成功的.但谷歌仍在列出这些测试链接.这是我为robots.txt编写的代码...

User-agent: *
Disallow: /foldername/

任何人都可以建议我可能是什么问题？提前致谢

Answer 1

您是否按照 Google 的说明测试了 robots.txt？ http://www.google.com/support/webmasters/bin/answer.py?hl=zh-CN&answer=156449

要测试网站的 robots.txt 文件：

• 在网站站长工具主页上，单击所需的网站。
• 在站点配置下，单击爬网程序访问
• 如果尚未选择，请单击测试 robots.txt 选项卡。
• 复制 robots.txt 文件的内容，并将其粘贴到第一个框中。
• 在 URL 框中，列出要测试的站点。
• 在用户代理列表中，选择所需的用户代理。

网站管理员工具：https://www.google.com/webmasters/tools/home?hl =en