你可以在维基百科上找到它:
User-agent: *
Disallow: /
Run Code Online (Sandbox Code Playgroud)
将在您的robot.txt文件,描述它出现在你的Web服务器的顶级目录在这里.
如果您没有将公共链接放到网站上,搜索引擎就不会轻易找到它.但是,在某些时候,如果很多人讨论该网站,那么肯定会有一个链接.
Robots.txt将有助于所有合法搜索引擎,例如Google.但是,如果有人意外地找到了网址或者它被保留在浏览器历史记录中,那么它将无济于事.
最可靠的方法是在网站上输入密码:http: //www.elated.com/articles/password-protecting-your-pages-with-htaccess/
是的,您可以使用robots.txt.查看本指南http://www.robotstxt.org/robotstxt.html.
从整个服务器中排除所有机器人.
User-agent: *
Disallow: /
Run Code Online (Sandbox Code Playgroud)