重新采样自定义期间

Question

是否有"烹饪书"方式重新采样具有(半)不规则周期的DataFrame？

我每天都有一个数据集,并希望它重新采样到有时(在科学文献中)被命名为dekad的.我不认为有一个适当的英语术语,但它基本上在三个十天的部分砍掉一个月,其中第三个是8到11天之间的剩余部分.

我自己想出了两个解决方案,一个针对这个案例的特定解决方案,以及针对任何不规则时期的更普遍的一个 但两者都不是很好,所以其他人如何处理这类情况.

让我们从创建一些示例数据开始:

import pandas as pd

begin = pd.datetime(2013,1,1)
end = pd.datetime(2013,2,20)

dtrange = pd.date_range(begin, end)

p1 = np.random.rand(len(dtrange)) + 5
p2 = np.random.rand(len(dtrange)) + 10

df = pd.DataFrame({'p1': p1, 'p2': p2}, index=dtrange)

我想出的第一件事是按个别月份(YYYYMM)进行分组,然后手动切片.喜欢:

def to_dec1(data, func):

    # create the indexes, start of the ~10day period
    idx1 = pd.datetime(data.index[0].year, data.index[0].month, 1)
    idx2 = idx1 + datetime.timedelta(days=10)
    idx3 = idx2 + datetime.timedelta(days=10)

    # slice the period and perform function
    oneday = datetime.timedelta(days=1)
    fir = func(data.ix[:idx2 - oneday].values, axis=0)
    sec = func(data.ix[idx2:idx3 - oneday].values, axis=0)
    thi = func(data.ix[idx3:].values, axis=0)

    return pd.DataFrame([fir,sec,thi], index=[idx1,idx2,idx3], columns=data.columns)

dfmean = df.groupby(lambda x: x.strftime('%Y%m'), group_keys=False).apply(to_dec1, np.mean)

结果如下:

print dfmean

                  p1         p2
2013-01-01  5.436778  10.409845
2013-01-11  5.534509  10.482231
2013-01-21  5.449058  10.454777
2013-02-01  5.685700  10.422697
2013-02-11  5.578137  10.532180
2013-02-21       NaN        NaN

请注意,您总是得到整整一个月的'dekads',这不是问题,如果需要可以轻松删除.

另一种解决方案的工作原理是提供一系列日期,您可以在这些日期中切割DataFrame并在每个段上执行功能.它在您想要的时期方面更灵活.

def to_dec2(data, dts, func):

    chucks = []
    for n,start in enumerate(dts[:-1]):

        end = dts[n+1] - datetime.timedelta(days=1)
        chucks.append(func(data.ix[start:end].values, axis=0))

    return pd.DataFrame(chucks, index=dts[:-1], columns=data.columns)

dfmean2 = to_dec2(df, dfmean.index, np.mean)

请注意,我使用前一个结果的索引作为日期范围,以节省一些时间"建立"它自己.

处理这些案件的最佳方法是什么？在Pandas中可能还有一些内置方法吗？

Answer 1

如果使用numpy 1.7,则可以使用datetime64和timedelta64数组进行计算:

创建示例数据:

import pandas as pd
import numpy as np

begin = pd.datetime(2013,1,1)
end = pd.datetime(2013,2,20)

dtrange = pd.date_range(begin, end)

p1 = np.random.rand(len(dtrange)) + 5
p2 = np.random.rand(len(dtrange)) + 10

df = pd.DataFrame({'p1': p1, 'p2': p2}, index=dtrange)

计算dekad的日期:

d = df.index.day - np.clip((df.index.day-1) // 10, 0, 2)*10 - 1
date = df.index.values - np.array(d, dtype="timedelta64[D]")
df.groupby(date).mean()

输出是:

                 p1         p2
2013-01-01  5.413795  10.445640
2013-01-11  5.516063  10.491339
2013-01-21  5.539676  10.528745
2013-02-01  5.783467  10.478001
2013-02-11  5.358787  10.579149