Robots.txt:禁止子目录但允许目录

Question

我想允许抓取文件:

/directory/

但不能抓取文件:

/directory/subdirectory/

是正确的robots.txt指令:

User-agent: *
Disallow: /subdirectory/

我担心如果我不允许/ directory /子目录/我将不允许抓取/ directory /中我不想做的所有文件,所以我正确使用:

User-agent: *
Disallow: /subdirectory/

Answer 1

你已经过度思考了:

User-agent: *
Disallow: /directory/subdirectory/

是正确的.