林鼎棋*_*林鼎棋 6 mysql performance timezone dateadd convert-tz
我的表“my_logs”有大约 20,000,000 条记录,我想找出几天内每个日期有多少日志。
我想要一个结果
+------------+---------+
| date | count |
+------------+---------+
| 2016-07-01 | 1623 |
| 2016-07-02 | 1280 |
| 2016-07-03 | 2032 |
+------------+---------+
下面的这个查询只需要几毫秒就可以完成,这很好
SELECT DATE_FORMAT(created_at, '%Y-%m-%d') as date,
COUNT(*) as count
FROM my_logs
WHERE created_at BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(created_at, '%Y-%m-%d')
Run Code Online (Sandbox Code Playgroud)
查询说明:
+------------+---------+-------+-----------------------------+
|select_type | table | type | possible_keys |
+------------+---------+-------+-----------------------------+
| SIMPLE | my_logs| index | index_my_logs_on_created_at |
+------------+---------+-------+-----------------------------+
+-----------------------------+---------+----------+
| key | key_len | rows |
+-----------------------------+---------+----------+
| index_my_logs_on_created_at | 10 | 23458462 |
+-----------------------------+---------+----------+
+-----------------------------------------------------------+
| Extra |
+-----------------------------------------------------------+
| Using where; Using index; Using temporary; Using filesort |
+-----------------------------------------------------------+
但是,我需要转换每条记录的时区以适应我所在国家/地区的时间,并且我需要按“日期”信息进行分组,因此我需要转换列本身。
两个都
SELECT COUNT(*)
FROM my_logs
WHERE DATE_ADD(created_at, INTERVAL 8 HOUR) BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(DATE_ADD(created_at, INTERVAL 8 HOUR), '%Y-%m-%d')
Run Code Online (Sandbox Code Playgroud)
和
SELECT COUNT(*)
FROM my_logs
WHERE CONVERT_TZ(created_at, "+00:00", "+08:00") BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(CONVERT_TZ(created_at, "+00:00", "+08:00"),
Run Code Online (Sandbox Code Playgroud)
'%Y-%m-%d')
花我12s左右完成查询,实在是太慢了!!
(解释与顶部的查询相同)
我认为这是常见问题,但我找不到处理它的好方法,有人有更有效的方法吗?谢谢!
您使用了哪种数据类型TIMESTAMP
?DATETIME
(但是,我会忽略这一点。)
不要created_at
在任何函数 ( ) 内“隐藏”索引列 ( CONVERT_TZ()
)。它使得WHERE
子句不能使用索引而必须扫描表。这个修复很简单:
WHERE created_at >= '2016-07-01' - INTERVAL 8 HOUR
AND created_at < '2016-07-04' - INTERVAL 8 HOUR
Run Code Online (Sandbox Code Playgroud)
(或使用CONVERT_TZ
)。请注意,我还修复了您将 4 号午夜纳入其中的错误。注意:Even+ INTERVAL...
实际上是一个函数。
SELECT
the和 the中的表达式GROUP BY
对性能的影响要小得多。