小编WAS*_*Sa2的帖子

Robots.txt,如何只允许访问域根目录,而不是更深入?

我想允许爬虫访问我的域的根目录(即index.html文件),但没有更深层次的(即没有子目录).我不想在robots.txt文件中单独列出和拒绝每个子目录.目前我有以下内容,但我认为它阻止了所有内容,包括域根目录中的内容.

User-agent: *
Allow: /$
Disallow: /
Run Code Online (Sandbox Code Playgroud)

我怎么能写我的robots.txt来完成我想要的东西?

提前致谢!

robots.txt

13
推荐指数
1
解决办法
6680
查看次数

标签 统计

robots.txt ×1