这个robots.txt语法是否为空"Disallow:"是否正确？

Question

今天在改进我的网络爬虫以支持robots.txt标准的同时,我在http://www.w3schools.com/robots.txt上看到了以下代码.

User-agent: Mediapartners-Google 
Disallow: 

这种语法是否正确？不应该是Disallow: /或Allow: /取决于预期的目的？

Answer 1

Disallow:

将允许一切,将:

Allow: /

你要么不允许任何事情,要么允许一切.