Robots.txt允许子文件夹但不允许父文件夹

Question

任何人都可robots.txt以为以下场景解释正确的命令.

我想允许访问:

/directory/subdirectory/..

但我也想限制访问权限,/directory/不能承受上述异常.

Answer 1

请注意,没有真正的官方标准,任何网络抓取工具都可能会高兴地忽略您的robots.txt

根据Google网上论坛的帖子,以下内容至少适用于GoogleBot;

User-agent: Googlebot 
Disallow: /directory/ 
Allow: /directory/subdirectory/