robot.txt适用于子域吗?

Pa3*_*k.m 5 robots.txt

robot.txt适用于子域吗?

让我说我有一个测试文件夹(test.domain.com),我不希望搜索引擎在其中爬行,我是否需要在测试文件夹中有一个robot.txt或者我可以将robot.txt放在root然后只是禁止测试文件夹?

谢谢!

mal*_*der 6

每个子域通常被视为一个单独的站点,并且需要自己的robots.txt文件

  • 这可能取决于其设置方式,但一个简单的判断方法是访问您的 URL 并查看访问了哪些文件。http://subdomain.domain.com/robots.txt <这就是爬虫将要经过的内容,它在爬行 http://domain.com 时不会关心 http://domain.com 上是否有不同的爬虫:/ /子域名.domain.com (3认同)