301重定向到除robots.txt之外的所有内容

Question

我们已将网站迁移到新域名,并希望旧网站的所有页面都从搜索引擎中删除.这是相同的网站,相同的内容,只是一个新的域名,因此搜索引擎需要时间,因为重复的内容(也许).我们已将旧网站上的.htaccess 301添加到新网站:

redirect 301 / http://new-domain.com/

现在,要从搜索引擎中删除旧网站,我们将旧网站上的robots.txt更改为:

User-agent: *
Disallow: /

问题是,由于.htaccess 301重定向,搜索引擎从new-domain.com获取robots.txt.

如何为robots.txt限制301重定向？

Answer 1

删除该Redirect指令并尝试此mod_rewrite规则:

RewriteEngine on
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301]

这将重定向任何请求,除了/robots.txt.