Robots.txt阻止访问所有https://页面

Question

阻止对https://页面的任何机器人的所有访问的语法是什么？我有一个旧网站,现在没有SSL,我想阻止访问所有https://页面

Answer 1

如果机器人robots.txt对不同的协议使用/请求不同,我不知道它是否有效.但是,您可以robots.txt通过HTTPS为请求提供不同的服务.

因此,当http://example.com/robots.txt要求时,您提供正常robots.txt.当https://example.com/robots.txt被要求时,你提供的robots.txt不允许一切.