如何配置robots.txt文件以阻止除2个目录之外的所有目录

Question

我不希望任何搜索搜索引擎索引我的大部分网站.

但我确实希望搜索引擎索引2个文件夹(和他们的孩子).这就是我设置的内容,但我认为它不起作用,我在Google中看到了我想要隐藏的页面:

这是我的robots.txt

User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /

除2之外,禁止所有文件夹的正确方法是什么？

Answer 1

我给了一个关于本教程在这个论坛在这里.在维基百科这里

基本上第一个匹配的robots.txt模式总是获胜:

User-agent: *
Allow: /archive/
Allow: /lsic/
Disallow: /

但我怀疑这可能为时已晚.一旦页面被编入索引,就很难删除它.唯一的方法是将其转移到另一个文件夹或只是密码保护文件夹.您应该可以在主机CPanel中执行此操作.