时间间隔内的 Mongo 聚合

Question

我有一些日志数据存储在一个 mongo 集合中，其中包括作为 request_id 的基本信息以及它被添加到集合中的时间，例如：

{
    "_id" : ObjectId("55ae6ea558a5d3fe018b4568"),
    "request_id" : "030ac9f1-aa13-41d1-9ced-2966b9a6g5c3",
    "time" : ISODate("2015-07-21T16:00:00.00Z")
}

我想知道我是否可以使用聚合框架来聚合一些统计数据。我想获取过去 X 小时内每个 N 分钟间隔内创建的对象的计数。

因此，我需要在过去 1 小时内以 10 分钟为间隔的输出应如下所示：

{ "_id" : 0, "time" : ISODate("2015-07-21T15:00:00.00Z"), "count" : 67 }
{ "_id" : 0, "time" : ISODate("2015-07-21T15:10:00.00Z"), "count" : 113 }
{ "_id" : 0, "time" : ISODate("2015-07-21T15:20:00.00Z"), "count" : 40 }
{ "_id" : 0, "time" : ISODate("2015-07-21T15:30:00.00Z"), "count" : 10 }
{ "_id" : 0, "time" : ISODate("2015-07-21T15:40:00.00Z"), "count" : 32 }
{ "_id" : 0, "time" : ISODate("2015-07-21T15:50:00.00Z"), "count" : 34 }

我会用它来获取图表数据。

任何建议表示赞赏！

Answer 1

有几种方法可以解决这个问题，具体取决于哪种输出格式最适合您的需要。主要注意事项是，使用“聚合框架”本身，您实际上无法将“强制转换”的内容返回为日期，但是Date在 API 中处理结果时，您可以获得可以轻松重构为对象的值。

第一种方法是使用聚合框架可用的“日期聚合运算符”：

db.collection.aggregate([
    { "$match": {
        "time": { "$gte": startDate, "$lt": endDate }
    }},
    { "$group": {
        "_id": {
            "year": { "$year": "$time" },
            "dayOfYear": { "$dayOfYear": "$time" },
            "hour": { "$hour": "$time" },
            "minute": {
                "$subtract": [
                    { "$minute": "$time" },
                    { "$mod": [ { "$minute": "$time" }, 10 ] }
                ]
            }
        },
        "count": { "$sum": 1 }
    }}
])

它返回一个复合键，用于_id包含“日期”所需的所有值。或者，如果总是在“小时”内，那么只需使用“分钟”部分并根据startDate您的范围选择计算实际日期。

或者您可以使用简单的“日期数学”来获取自“纪元”以来的毫秒数，它可以再次直接提供给日期构造函数。

db.collection.aggregate([
    { "$match": {
        "time": { "$gte": startDate, "$lt": endDate }
    }},
    { "$group": {
        "_id": {
            "$subtract": [
               { "$subtract": [ "$time", new Date(0) ] },
               { "$mod": [
                   { "$subtract": [ "$time", new Date(0) ] },
                   1000 * 60 * 10
               ]}
            ]
        },
        "count": { "$sum": 1 }
    }}
])

在任何情况下，你有什么不想要做的是使用$project实际应用之前$group。作为“管道阶段”，$project必须“循环”所有选定的文档并“转换”内容。

这需要时间，并且会增加查询的执行总数。您可以简单地直接申请，$group如图所示。

或者，如果你真的很“纯粹”关于一个Date没有后处理就返回的对象，那么你总是可以使用"mapReduce"，因为 JavaScript 函数实际上允许重铸为日期，但比聚合框架慢，当然没有游标响应：

db.collection.mapReduce(
   function() {
       var date = new Date(
           this.time.valueOf() 
           - ( this.time.valueOf() % ( 1000 * 60 * 10 ) )
       );
       emit(date,1);
   },
   function(key,values) {
       return Array.sum(values);
   },
   { "out": { "inline": 1 } }
)

不过，您最好的选择是使用聚合，因为转换响应非常容易：

db.collection.aggregate([
    { "$match": {
        "time": { "$gte": startDate, "$lt": endDate }
    }},
    { "$group": {
        "_id": {
            "year": { "$year": "$time" },
            "dayOfYear": { "$dayOfYear": "$time" },
            "hour": { "$hour": "$time" },
            "minute": {
                "$subtract": [
                    { "$minute": "$time" },
                    { "$mod": [ { "$minute": "$time" }, 10 ] }
                ]
            }
        },
        "count": { "$sum": 1 }
    }}
]).forEach(function(doc) {
    doc._id = new Date(doc._id);
    printjson(doc);
})

然后你有你的间隔分组输出与真实Date物体。

Answer 2

像这样的东西吗？

pipeline = [
    {"$project":
        {"date": {
            "year": {"$year": "$time"},
            "month": {"$month": "$time"},
            "day": {"$dayOfMonth": "$time"},
            "hour": {"$hour": "$time"},
            "minute": {"$subtract": [
                {"$minute": "$time"},
                {"$mod": [{"$minute": "$time"}, 10]}
            ]}
        }}
    },
    {"$group": {"_id": "$date", "count": {"$sum": 1}}}
]

例子：

> db.foo.insert({"time": new Date(2015,  7, 21, 22, 21)})
> db.foo.insert({"time": new Date(2015,  7, 21, 22, 23)})
> db.foo.insert({"time": new Date(2015,  7, 21, 22, 45)})
> db.foo.insert({"time": new Date(2015,  7, 21, 22, 33)})
> db.foo.aggregate(pipeline)

和输出：

{ "_id" : { "year" : 2015, "month" : 8, "day" : 21, "hour" : 20, "minute" : 40 }, "count" : 1 }
{ "_id" : { "year" : 2015, "month" : 8, "day" : 21, "hour" : 20, "minute" : 20 }, "count" : 2 }
{ "_id" : { "year" : 2015, "month" : 8, "day" : 21, "hour" : 20, "minute" : 30 }, "count" : 1 }