我可以阻止搜索引擎索引我网站上的整个目录吗？

Question

我有一个临时站点,我用它来为我的实际网站起草新功能,更改和内容.

我不希望它被编入索引,但我希望解决方案比将以下内容添加到我网站上的每个页面要容易一些:

<meta name="robots" content="noindex, nofollow">

我能否以类似于使用.htaccess文件向域添加密码的方式执行此操作？

Answer 1

该robots.txt标准是为这一点.例

User-agent: *
Disallow: /protected-directory/

搜索引擎会遵守这一点,但当然内容仍然会被发布(如果你把URL放在robots.txt中,可能更容易被发现),所以通过.htaccess进行密码保护也是一种选择.

Answer 2

你想要的是robots.txt文件

该文件应该在您的服务器根目录中,内容应该是这样的;

User-agent: *
Disallow: /mybetasite/

这将礼貌地要求搜索索引服务不要索引该目录下的页面,所有表现良好的搜索引擎都会尊重这些页面.

Answer 3

确实，robots.txt在网站的根源是要走的路。要添加多个条目（如OP所建议），请执行以下操作：

User-agent: *
Disallow: /test_directory_aaa/
Disallow: /test_directory_bbb/
Disallow: /test_directory_ccc/

或者，采取以下.htpasswd路线：

在.htaccess中，添加：

AuthType Basic
AuthName "Marty's test directory"
AuthUserFile /test_directory_aaa/.htpasswd
AuthUserFile /test_directory_bbb/.htpasswd
AuthUserFile /test_directory_ccc/.htpasswd
require valid-user

在.htpasswd中，添加：

username1:s0M3md5H4sh1
username2:s0M3md5H4sh2
username3:s0M3md5H4sh3