AH01797：客户端被服务器配置拒绝：/usr/share/doc

Question

很长一段时间以来（现在一个多月），我在 apache 日志中看到如下所示的行：

180.76.15.138 - - [24/Jun/2015:16:13:34 -0400] "GET /manual/de/mod/module-dict.html HTTP/1.1" 403 396 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
180.76.15.159 - - [24/Jun/2015:16:28:34 -0400] "GET /manual/es/mod/mod_cache_disk.html HTTP/1.1" 403 399 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
66.249.75.86 - - [24/Jun/2015:16:18:01 -0400] "GET /manual/es/programs/apachectl.html HTTP/1.1" 403 436 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
[Wed Jun 24 16:13:34.430884 2015] [access_compat:error] [pid 5059] [client 180.76.15.138:58811] AH01797: client denied by server configuration: /usr/share/doc/apache2-doc/manual/de/mod/module-dict.html
[Wed Jun 24 16:18:01.037146 2015] [access_compat:error] [pid 2791] [client 66.249.75.86:56362] AH01797: client denied by server configuration: /usr/share/doc/apache2-doc/manual/es/programs/apachectl.html
[Wed Jun 24 16:28:34.461298 2015] [access_compat:error] [pid 2791] [client 180.76.15.159:25833] AH01797: client denied by server configuration: /usr/share/doc/apache2-doc/manual/es/mod/mod_cache_disk.html

这些要求似乎真的来自Baiduspider和Googlebot（选中使用反向DNS作为解释这里）：

user@server:~$ host 66.249.75.86
86.75.249.66.in-addr.arpa domain name pointer crawl-66-249-75-86.googlebot.com.
user@server:~$ host crawl-66-249-75-86.googlebot.com
crawl-66-249-75-86.googlebot.com has address 66.249.75.86

我已经阅读了有关此主题的类似问题，例如this和this，但对于这些问题，这些错误实际上阻止了网站正常工作。相反，在我的情况下，机器人尝试访问的 html 页面不存在，因此这是 Apache 的预期行为。唯一令人烦恼的是，尽管 Google 网站管理员工具没有显示任何错误，但 Google 对我的网站编制索引的速度似乎很慢。

我正在使用 Apache 2.4.7 版和以下虚拟主机配置：

<VirtualHost *:80>
    ServerName example.com
    ServerAlias www.example.com

    DocumentRoot "/var/www/example.com/public"
    <Directory />
        Options None
        AllowOverride None
        Order Deny,Allow
        Deny from all
        Require all denied
    </Directory>
    <Directory "/var/www/example.com/public">
        Options None
        AllowOverride FileInfo Limit Options=FollowSymLinks 
        Order Allow,Deny
        Allow from all
        Require all granted
    </Directory>

    ErrorLog /var/log/apache2/example.com/error.log
    CustomLog /var/log/apache2/example.com/access.log combined
</VirtualHost>

因此，我的问题是：

1. 为什么Baiduspider 和Googlebot 反复尝试访问我网站上不存在且未由网站上的任何链接引用的内容？
2. 像这样的请求如何GET /manual/de/mod/...映射到/usr/share/doc/apache2-doc/manual/de/mod/...while，据我所知，他们应该去/var/www/example.com/public/manual/de/mod/...？
3. 一般而言：我应该担心这些行是配置错误的标志，还是对它们有解释？

Answer 1

在 2.2 中，基于客户端主机名、IP 地址和客户端请求的其他特征的访问控制是使用指令 Order、Allow、Deny 和 Satisfy 完成的。

在 2.4 中，使用新模块 mod_authz_host 以与其他授权检查相同的方式完成此类访问控制。在旧接入控制成语应更换由新的认证机制，虽然用于与旧配置的兼容性，提供了新的模块mod_access_compat。

看起来您已经设置了新的Require指令，因此只需删除已弃用的访问指令并运行sudo service apache2 reload

Answer 2

由于一段时间过去了没有任何答案，我决定根据我迄今为止的研究（部分）回答我自己的问题。

1. 不幸的是，为什么 Googlebot 和 Baispider 试图通过我的服务器访问 Apache 文档的问题仍然没有得到解答。
2. URL/manual/...的映射要/usr/share/doc/apache2-doc/manual/...归功于 Ubuntu 上预装的 Alias：我想是这样的，为了方便访问文档。a2disconf apache2-doc就我而言，这是不需要的，因此我决定通过发出后跟 来删除别名service apache2 reload。
3. 没有理由将日志条目视为配置错误的迹象，因为它们正是所需的行为。在删除别名之前，对文档的访问被虚拟主机配置阻止，从而返回 403“禁止”状态代码。删除别名后，服务器正确返回 404“Not Found”状态代码。