子目录中的robots.txt

Question

我有一个项目位于主域下面的文件夹中,我无法访问域本身的根目录.

http://mydomain.com/myproject/

我想禁止对子文件夹"forbidden"进行索引

http://mydomain.com/myproject/forbidden/

我可以简单地将robots.txt放在myproject文件夹中吗？即使root中没有robots.txt,它会被读取吗？

禁止禁用文件夹的正确语法是什么？

User-agent: *
Disallow: /forbidden/

要么

User-agent: *
Disallow: forbidden/

Answer 1

来自robotstxt.org:

把它放在哪里

简短的回答:在您的Web服务器的顶级目录中.

答案越长:

当机器人查找URL的"/robots.txt"文件时,它会从URL中剥离路径组件(来自第一个单斜杠的所有内容),并将"/robots.txt"放在其位置.

例如,对于" http://www.example.com/shop/index.html,它将删除"/shop/index.html",并将其替换为"/robots.txt",最终将以" http://www.example.com/robots.txt ".

因此,作为网站所有者,您需要将其放在Web服务器上的正确位置,以便生成该URL.通常,这是您放置网站主要"index.html"欢迎页面的位置.究竟是什么,以及如何将文件放在那里,取决于您的Web服务器软件.

请记住使用全文小写作为文件名:"robots.txt",而不是"Robots.TXT.

所以我害怕答案是你必须把它放在根文件夹中:-(

关于你的第二个问题,我认为正确的语法是以正斜杠开头的语法(例如./forbidden/).