如何将DataFrame分组一段时间？

Question

我有一些来自日志文件的数据,并希望按分钟分组:

 def gen(date, count=10):
     while count > 0:
         yield date, "event{}".format(randint(1,9)), "source{}".format(randint(1,3))
         count -= 1
         date += DateOffset(seconds=randint(40))

 df = DataFrame.from_records(list(gen(datetime(2012,1,1,12, 30))), index='Time', columns=['Time', 'Event', 'Source'])

DF:

 Event  Source
 2012-01-01 12:30:00     event3  source1
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:29     event6  source1
 2012-01-01 12:30:38     event1  source1
 2012-01-01 12:31:05     event4  source2
 2012-01-01 12:31:38     event4  source1
 2012-01-01 12:31:44     event5  source1
 2012-01-01 12:31:48     event5  source2
 2012-01-01 12:32:23     event6  source1

我试过这些选项:

1. df.resample('Min') 是太高的水平,想要聚合.
2. df.groupby(date_range(datetime(2012,1,1,12, 30), freq='Min', periods=4)) 失败,例外.

3. df.groupby(TimeGrouper(freq='Min'))工作正常并返回一个DataFrameGroupBy对象进行进一步处理,例如:

   grouped = df.groupby(TimeGrouper(freq='Min'))
   grouped.Source.value_counts()
   2012-01-01 12:30:00  source1    1
   2012-01-01 12:31:00  source2    2
                        source1    2
   2012-01-01 12:32:00  source2    2
                        source1    2
   2012-01-01 12:33:00  source1    1
   

但是,该TimeGrouper课程没有记录.

在一段时间内分组的正确方法是什么？如何按分钟和源列对数据进行分组,例如groupby([TimeGrouper(freq='Min'), df.Source])？

Answer 1

您可以对与DataFrame长度相同的任何数组/系列进行分组 - 甚至是实际上不是DataFrame列的计算因子.所以要按分钟分组,你可以这样做:

df.groupby(df.index.map(lambda t: t.minute))

如果您想按分钟和其他方式分组,只需将上面的内容与您要使用的列混合:

df.groupby([df.index.map(lambda t: t.minute), 'Source'])

我个人认为,如果我想经常对它们进行分组,那么只需将列添加到DataFrame来存储这些计算的东西(例如,"Minute"列)是有用的,因为它使得分组代码不那么冗长.

或者您可以尝试这样的事情:

df.groupby([df['Source'],pd.TimeGrouper(freq='Min')])

Answer 2

由于最初的答案相当陈旧,并且熊猫引入了时期, 现在有了不同的解决方案:

df.groupby(df.index.to_period('T'))

此外,您可以重新取样

df.resample('T')

Answer 3

pd.TimeGrouper 现在已折旧。这是使用pd.Grouper 的v1.05 更新

df['Date'] = df.index

df.groupby(['Source',pd.Grouper(key = 'Date', freq='30min')])