版本控制中的robots.txt

Question

我的Web开发团队拥有一个带有两个分支的版本控制系统.其中一个分支用于开发,另一个具有稳定的代码,显示在我们的主域上.为了便于在开发过程中进行测试,我们有第二个域,从中提供开发分支.

我想在版本控制系统中维护我们的robots.txt文件,但我不希望我们的开发网站出现在搜索结果中.如果我在开发分支中放置了一个不允许所有索引的robots.txt文件,那么开发域将提供该文件来解决我的一个问题.但是,只要我将该更改与稳定分支合并,就会从主域提供相同的文件,这不是我想要的.在这种情况下你会做什么来解决这两个问题？

Answer 1

另一种方法,如果您使用的是Apache:

1. 创建两个robots.txt文件而不是一个:robots-production.txt,和robots-development.txt

2. 添加两个.htaccess规则:

   RewriteCond %{HTTP_HOST} ^your_development_domain$
   RewriteRule ^robots.txt robots-development.txt
   
   RewriteCond %{HTTP_HOST} ^your_production_domain$
   RewriteRule ^robots.txt robots-production.txt
   

这为每个域提供不同的robots.txt文件.