需要使用位于同一目录级别的robots.txt来阻止子域

Question

我有一个问题

我有域名www.testing.com,new.testing.com所以我不想在任何搜索引擎中显示new.testing.com.我在new.testing.com上添加了一个robots.txt.两个站点都有相同的父目录

--httpdoc
----testing.com
----new.testing.com

所以我想知道我可以使用一个robots.txt test.com处理这两个网站是否可能???

如果可能,请建议我解决方案.

Answer 1

您可以做的最好的事情是添加单独的robots.txt文件.在每个目录中放一个.你应该有

• testing.com/robots.txt和
• new.testing.com/robots.txt

将robots.txt文件添加到new.testing.com后,您应该添加以下代码以保持搜索引擎远离.

User-agent: *
Disallow: /

Answer 2

RewriteEngine on
RewriteCond %{HTTP_HOST} ^subdomain.website.com$
RewriteRule ^robots\.txt$ robots-subdomain.txt

然后将以下内容添加到 /robots-subdomain.txt：

User-agent: *
Disallow: /