如何禁止 robots.txt 中存在多个文件夹

Question

我想禁止机器人抓取任何文件夹/子文件夹。

我想禁止 ff：

http://example.com/staging/
http://example.com/test/

这是我的 robots.txt 中的代码

User-agent: *
Disallow: /staging/
Disallow: /test/

这是正确的吗？它会起作用吗？

Answer 1

是的，没错！您必须将命令Disallow逐行添加到每个路径。

像这样：

User-agent: *
Disallow: /cgi-bin/
Disallow: /img/
Disallow: /docs/

一个好技巧是使用一些Robot.txt Generator。另一个技巧是使用此 Google 工具测试您的 Robot.txt