如果我只想让抓取工具访问index.php,这会有用吗？
User-agent: * Disallow: / Allow: /index.php
seo robots.txt web-crawler
robots.txt ×1
seo ×1
web-crawler ×1