小编use*_*521的帖子

我想允许抓取文件:

/directory/

但不能抓取文件:

/directory/subdirectory/

是正确的robots.txt指令:

User-agent: *
Disallow: /subdirectory/

我担心如果我不允许/ directory /子目录/我将不允许抓取/ directory /中我不想做的所有文件,所以我正确使用:

User-agent: *
Disallow: /subdirectory/