我们有一个带有虚拟主机的 XAMPP Apache 开发 Web 服务器设置,并希望阻止 serps 抓取我们所有的站点。这可以通过 robots.txt 文件轻松完成。但是,我们不希望在每个虚拟主机中都包含一个 disallow robots.txt,然后当我们在另一台服务器上使用该站点时必须将其删除。
有没有办法使用 apache 配置文件将所有虚拟主机上对 robots.txt 的所有请求重写为单个 robots.txt 文件?
如果是这样,你能给我举个例子吗?我认为它会是这样的:
RewriteEngine On
RewriteRule .*robots\.txt$ C:\xampp\vhosts\override-robots.txt [L]
Run Code Online (Sandbox Code Playgroud)
谢谢!