我正在使用robots.txt从蜘蛛中排除一些页面.
User-agent: *
Disallow: /track.php
当我搜索到这个页面的内容时,谷歌说:"由于该网站的robots.txt,因此无法获得此结果的说明 - 了解更多信息."
这意味着robots.txt正在运行..但为什么蜘蛛仍然可以找到该页面的链接？我想没有链接到'track.php'页面...我应该如何设置robots.txt？(或类似.htaccess等等......？)