我robots.txt在Google网站站长工具中显示以下值:
robots.txt
User-agent: * Allow: /
这是什么意思?我对此知之甚少,所以寻求你的帮助.我想允许所有机器人抓取我的网站,这是正确的配置吗?
robots.txt ×1