禁用子域抓取

Question

我想禁用对我的子域的抓取。

例如：我的主域是 maindomain.com
subdomain_one.com（附加域）
subdomain_two.com（附加域）

所以我想禁用对 subdomain_one.maildomain.com 的爬网。

我在robot.txt中使用了这个：

   User-agent: *
   Disallow: /subdomain_one/
   Disallow: /subdomain_two/

Answer 1

该文件必须被调用robots.txt，而不是robot.txt.

\n\n

如果您想禁止所有机器人抓取您的子域，则必须在该子域的文档根目录中放置一个 robots.txt 文件，其中包含以下内容：

\n\n

User-agent: *\nDisallow: /\n

\n\n

每个主机都需要自己的robots.txt. 您可以\xe2\x80\x99t 指定 robots.txt 内的子域，仅指定 URL 路径的开头。

\n\n

因此，如果您想阻止 上的所有文件http://sub.example.com/，则 robots.txt 必须可以从 访问http://sub.example.com/robots.txt。

\n\n

\xe2\x80\x99你的网站在服务器端的组织方式并不重要，重要的是可公开访问的内容。

\n