我想允许爬虫访问我的域的根目录(即index.html文件),但没有更深层次的(即没有子目录).我不想在robots.txt文件中单独列出和拒绝每个子目录.目前我有以下内容,但我认为它阻止了所有内容,包括域根目录中的内容.
User-agent: * Allow: /$ Disallow: /
我怎么能写我的robots.txt来完成我想要的东西?
提前致谢!
robots.txt
robots.txt ×1