如何在Google App Engine中停用googlebot？

Question

昨天googlebot导致我的应用程序超过了读取配额.如何禁用googlebot？谢谢.

更新

我补充道

- url: /robots.txt
  static_dir: robots

我app.yaml 在这里解释并创建robots.txt文件目录"机器人",但网址http://www.example.com/robots.txt不起作用.我究竟做错了什么？

Answer 1

添加robots.txt文件.这是一个简单的阻止注意它的机器人:

User-agent: *
Disallow: /

Answer 2

将机器人路径移动到/.*上方捕获所有路径并修改你app.yaml的:

- url: /robots.txt
  static_files: robots/robots.txt
  upload: robots/robots.txt

请记住,此操作会影响您的应用程序的SERP(Google迟早会对您的应用程序取消索引)