我们已将网站迁移到新域名,并希望旧网站的所有页面都从搜索引擎中删除.这是相同的网站,相同的内容,只是一个新的域名,因此搜索引擎需要时间,因为重复的内容(也许).我们已将旧网站上的.htaccess 301添加到新网站:
redirect 301 / http://new-domain.com/
现在,要从搜索引擎中删除旧网站,我们将旧网站上的robots.txt更改为:
User-agent: *
Disallow: /
问题是,由于.htaccess 301重定向,搜索引擎从new-domain.com获取robots.txt.
如何为robots.txt限制301重定向？