pjk*_*ght 5 search-engine robots.txt
我有一个使用通配符子域的站点,以便当有人注册时,他们会到达那里自己的子域.
我不希望google(或其他serach引擎)抓取并索引任何子域名(接受www.)
用robots.txt可以做到这一点吗？
问候
我猜不会，至少不会直接使用一个全局robots.txt文件。请参阅：http ://www.seomoz.org/q/block-an-entire-subdomain-with-robots-txt
安迪奎珀在该页面的某个地方写道：
您可以通过 robots.txt 阻止整个子域，但是您需要创建一个 robots.txt 文件并将其放置在子域的根目录中，然后添加代码以指示机器人远离整个子域的内容。
用户代理：* 禁止：/
也可以看看：
制作一个脚本来创建/复制文件robots.txt到新创建的子域，一切都应该按预期工作。