我在Heroku上有分期和制作应用程序.
对于crawler,我设置了robots.txt文件.
之后我收到了谷歌的消息.
尊敬的网站管理员:您网站的主机名https://www.myapp.com/与SSL证书中的任何"主题名称"都不匹配,即:
*.herokuapp.com
herokuapp.com
谷歌机器人读取我的临时应用程序上的robots.txt并发送此消息.因为我没有设置任何防止抓取工具读取文件的内容.
所以,我正在考虑的是在暂存和生产之间更改.gitignore文件,但我无法弄清楚如何做到这一点.
实现这个的最佳实践是什么？
编辑
我搜索了这篇文章并发现了这篇文章http://goo.gl/2ZHal
本文说要设置基本的Rack身份验证,您不需要关心robots.txt.
我不知道基本的auth可以阻止谷歌机器人.似乎这个解决方案更好地操纵.gitignore文件.