调查 MySQL 吞吐量的峰值

Question

最近我们的一台服务器内存不足并崩溃了。查看munin图表后，似乎在崩溃之前达到峰值的唯一指标（内存使用除外）是MySQL throughput. 然而，我们期望看到数量相应的增加MySQL queries并没有发生：

我们想找出导致 MySQL 吞吐量达到峰值的原因。以下是崩溃中的 bin 日志列表：

101M Apr 17 01:27 drupal_master-bin.001270
106M Apr 17 03:00 drupal_master-bin.001271
101M Apr 17 04:05 drupal_master-bin.001272
104M Apr 17 05:53 drupal_master-bin.001273
104M Apr 17 06:39 drupal_master-bin.001274
101M Apr 17 07:02 drupal_master-bin.001275
104M Apr 17 07:22 drupal_master-bin.001276  # 100M filled up in 1 min
106M Apr 17 07:23 drupal_master-bin.001277
101M Apr 17 07:33 drupal_master-bin.001278
101M Apr 17 07:43 drupal_master-bin.001279
104M Apr 17 07:46 drupal_master-bin.001280
102M Apr 17 08:29 drupal_master-bin.001281
102M Apr 17 08:46 drupal_master-bin.001282
105M Apr 17 08:54 drupal_master-bin.001283
 13M Apr 17 09:26 drupal_master-bin.001284  # crash of server around 09:50
# prior to crashing load went very high (we saw 45) and server was extremely slow (few min delay when typing in an SSH session)
101M Apr 17 10:54 drupal_master-bin.001285  # server up again, nothing wrong since then

我一直在寻找工具来分析这些 bin 日志。到目前为止，我发现：

binlog-analyze.pl：给我一个处理查询的概述，细分为select, insert, update.. （仅供参考，我在脚本中替换select into了select它，因为它似乎是错误的）。

$ mysqlbinlog /path/to/bin.log | binlog-analyze.pl -v

pt-query-digest：给我关于查询大小（最小、最大、平均...）的统计信息。该实用程序有很多选项，但我不知道该寻找什么。

$ mysqlbinlog /path/to/bin.log | pt-query-digest

我们想知道是什么查询导致了 MySQL 输出的增加。

有人可以指导如何查看 MySQL bin 日志以识别导致 MySQL 吞吐量突然增加的查询吗？

Answer 1

分析二进制日志可能无法为您提供准确的情况，因为二进制日志包含已完成的查询并像 FIFO 队列一样插入到二进制日志中。

您真正需要寻找的是主动运行的查询的直方图是什么样的。换句话说，您需要在揭示独特情况出现时的查询和性能的过程中捕获进程列表。

我强烈建议使用 pt-query-digest 但您需要以不同的方式使用 itt。与其让查询摘要处理二进制日志条目，不如让它实时处理进程列表！

我写了一篇过去的文章（2011 年 11 月 24 日），介绍如何使用pt-query-digest（我的文章使用mk-query-digest）作为慢查询日志的替代品（我已经发布了我使用的实际脚本以及如何读取查询摘要输出）：MySQL 一般查询日志性能影响。我过去的帖子基于 YouTube 视频，展示了如何做到这一点。我只是简单地使用mk-query-digest模拟自己。