熊猫重新采样到特定的工作日

Question

我有一个 Pandas 数据框，我想在每个月的第三个星期五重新采样。

np.random.seed(0)
#requested output:
dates = pd.date_range("2018-01-01", "2018-08-31")
dates_df = pd.DataFrame(data=np.random.random(len(dates)), index=dates)
mask = (dates.weekday == 4) & (14 < dates.day) & (dates.day < 22)
dates_df.loc[mask]

但是当缺少第三个星期五时（例如删除 2 月的第三个星期五），我想获得最新的值（截至 2018-02-15）。使用掩码给我下一个值（2 月 17 日而不是 2 月 15 日）：

# remove February third Friday:
dates_df = dates_df.drop([pd.to_datetime("2018-02-16")])
mask = (dates.weekday == 4) & (14 < dates.day) & (dates.day < 22)
dates_df.loc[mask]

将每月重新采样与 loffset 结合使用给出了抵消索引的月末值，这也不是我想要的：

from pandas.tseries.offsets import WeekOfMonth
dates_df.resample("M", loffset=WeekOfMonth(week=2, weekday=4)).last()

是否有替代方法（最好使用重新采样）而不必先重新采样为每日值然后添加掩码（这需要很长时间才能在我的数据帧上完成）

Answer 1

您的第二次尝试是在正确的方向 IIUC，您只需要使用 WeekOfMonth 作为规则重新采样，而不是将其用作偏移量：

dates_df.resample(WeekOfMonth(week=2, weekday=4)).asfreq().dropna()

这种方法不会抵消索引，它应该只返回每个月第三个星期五的数据。

处理错过的第三个星期五：

使用上面的代码，如果您错过了第三个星期五，则整个月都将被排除在外。但是根据您想如何处理丢失的数据，您可以bfill, ffill, pad.. 您可以将上述内容修改为以下内容：

dates_df.resample(rule=WeekOfMonth(week=2,weekday=4)).bfill().asfreq(freq='D').dropna()

以上将bfill丢失的第三个星期五与下一个值。

更新：让我们使用固定数据集而不是np.random：

# create a smaller daterange
dates = pd.date_range("2018-05-01", "2018-08-31")

# create a data with only 1,2,3 values
data = [1,2,3] * int(len(dates)/3)

dates_df = pd.DataFrame(data=data, index=dates)
dates_df.head()

# Output:

2018-05-01  1
2018-05-02  2
2018-05-03  3
2018-05-04  1
2018-05-05  2

现在让我们通过手动选择来检查每个月的第三个星期五的数据是什么样的：

dates_df.loc[[
    pd.Timestamp('2018-05-18'),
    pd.Timestamp('2018-06-15'),
    pd.Timestamp('2018-07-20'),
    pd.Timestamp('2018-08-17')
]]

Output:

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  1

如果您没有遗漏第 3 个星期五并运行之前提供的代码：

dates_df.resample(rule=WeekOfMonth(week=2,weekday=4)).asfreq().dropna()

将产生以下输出：

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  1

正如您所看到的，这里的索引没有移动，它返回了每个月第三个星期五的确切值。

现在假设您确实缺少第 3 个星期五，这取决于您想怎么做（使用前一个值：ffill或下一个值bfill）：

• 填充/填充：将最后一个有效观察传播到下一个有效观察
• backfill / bfill：使用 NEXT 有效观察来填补空白

dates_df.drop(index=pd.Timestamp('2018-08-17')).resample(rule=WeekOfMonth(week=2, weekday=4)).ffill().asfreq(freq='D').dropna()

2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  3

dates_df.drop(index=pd.Timestamp('2018-08-17')).resample(rule=WeekOfMonth(week=2, weekday=4)).bfill().asfreq(freq='D').dropna()

2018-04-20  1
2018-05-18  3
2018-06-15  1
2018-07-20  3
2018-08-17  2

如果说整个索引像您的示例一样移动：

dates_df.resample(rule='M', loffset=WeekOfMonth(week=2, weekday=4)).asfreq().dropna()

# Output:

2018-06-15  1
2018-07-20  1
2018-08-17  2
2018-09-21  3

那里发生的事情是您根据规则“M”（月末）重新采样，然后在每个月的第 3 个星期五之前抵消（向前移动）指数。

正如您在偏移之前所看到的，它是这样的：

dates_df.resample(rule='M').asfreq().dropna()

# Output

2018-05-31  1
2018-06-30  1
2018-07-31  2
2018-08-31  3