如何为 Apache 服务器上的所有域创建 robots.txt 文件

Question

我们有一个带有虚拟主机的 XAMPP Apache 开发 Web 服务器设置，并希望阻止 serps 抓取我们所有的站点。这可以通过 robots.txt 文件轻松完成。但是，我们不希望在每个虚拟主机中都包含一个 disallow robots.txt，然后当我们在另一台服务器上使用该站点时必须将其删除。

有没有办法使用 apache 配置文件将所有虚拟主机上对 robots.txt 的所有请求重写为单个 robots.txt 文件？

如果是这样，你能给我举个例子吗？我认为它会是这样的：

RewriteEngine On
RewriteRule  .*robots\.txt$         C:\xampp\vhosts\override-robots.txt [L] 

谢谢！

Answer 1

Apache mod_alias就是为此而设计的，可从核心 Apache 系统获得，并且可以在几乎没有处理开销的情况下设置在一个地方，这与 mod_rewrite 不同。

Alias /robots.txt C:/xampp/vhosts/override-robots.txt

apache2.conf 文件中的这一行，在所有虚拟主机之外，http://example.com/robots.txt - 在它服务的任何网站上，将输出给定的文件。