Apache访问日志正则表达式解析

Question

我有一个用于 Apache 的自定义访问日志：

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %{JSESSIONID}C %D %V" mylog

我正在尝试从 Python 解析生成的 LOG；但我有两个问题：

• 没有请求方法（HTTP/1.0 或 HTTP/1.1）的请求没有被正确解析。
• 请求路径中带有空格的请求未正确解析（我不知道 Apache 是否保存了此路径编码或保留空格，但我可以生成一个 LOG 行，在 telnet 中手动发出请求）。

使用这个正则表达式：

(?P<ip>.*) (?P<remote_log_name>.*) (?P<userid>.*) \[(?P<date>.*)(?= ) (?P<timezone>.*?)\] \"(?P<request_method>.*) (?P<path>.*)(?P<request_version> HTTP/.*)\" (?P<status>.*) (?P<length>.*) \"(?P<referrer>.*)\" \"(?P<user_agent>.*)\" (?P<session_id>.*) (?P<generation_time_micro>.*) (?P<virtual_host>.*)

此 LOG 的前 3 行解析失败：

1.1.1.2 - - [11/Nov/2016:03:04:55 +0100] "GET /" 200 83 "-" "-" - 9221 1.1.1.1
127.0.0.1 - - [11/Nov/2016:14:24:21 +0100] "GET /uno dos" 404 298 "-" "-" - 400233 1.1.1.1
127.0.0.1 - - [11/Nov/2016:14:23:37 +0100] "GET /uno dos HTTP/1.0" 404 298 "-" "-" - 385111 1.1.1.1
1.1.1.1 - - [11/Nov/2016:00:00:11 +0100] "GET /icc HTTP/1.1" 302 - "-" "XXX XXX XXX" - 6160 11.1.1.1
1.1.1.1 - - [11/Nov/2016:00:00:11 +0100] "GET /icc/ HTTP/1.1" 302 - "-" "XXX XXX XXX" - 2981 1.1.1.1

可以在此处模拟正则表达式https://regex101.com/r/xDfSqj/2。

Answer 1

试试这个解决方案：https : //regex101.com/r/xDfSqj/4

这与您拥有的相同，除了：

(?P<ip>.*?) (?P<remote_log_name>.*?) (?P<userid>.*?) \[(?P<date>.*?)(?= ) (?P<timezone>.*?)\] \"(?P<request_method>.*?) (?P<path>.*?)(?P<request_version> HTTP/.*)?\" (?P<status>.*?) (?P<length>.*?) \"(?P<referrer>.*?)\" \"(?P<user_agent>.*?)\" (?P<session_id>.*?) (?P<generation_time_micro>.*?) (?P<virtual_host>.*)

已在 HTTP/1.0 附近添加了一个捕获组并赋予了 ? 量词。这也会添加到您的其他组中以防止贪婪捕获。

这就是你想要达到的目标吗？