pandas滚动窗口有效添加新行

Question

我有一个相当大的数据集（大约 500 万行），其中有几个计算列，如滞后（1 和 7）和滚动窗口（7、30、90，每个都有几个值，如平均值、标准差、最小值、最大值等）。现在我需要向df添加一行或多行，我想知道（重新）计算这些特征的最有效方法。重新计算整个df会花费太多时间，但我不能简单地将函数应用于新添加的行。

对于滞后这不是一个大问题，我可以简单地，例如对于滞后 1，

df.iloc[-1, -2] = df.iloc[-2, -2]

这应该可以解决问题（与滞后 7 相同），但是滚动窗口呢？同样的方法行不通，我无法在整个数据帧上（重新）运行滚动窗口。我要手工计算吗？还有其他办法吗？

Python 3.7.7 和 pandas 1.0.3

Answer 1

如果我正确地解释了这个问题，那么您有一个大型 DataFrame，其中包含一个或多个源数据列，然后是多个列，其中包含基于源列的窗口汇总统计信息。您尝试在将新行附加到源数据列后更新窗口摘要列的底部，而不重新计算整个摘要列。

解决此问题的方法取决于很多因素，包括您是否使用居中窗口。但希望这能让你开始。

我将从您的问题的玩具版本开始，具有单列source和两个窗口方式：

In [2]: df = pd.DataFrame({'source': np.arange(0, 20, 2)})

In [3]: for window in [3, 5]:
   ...:     df[f'rolling_mean_{window}'] = (
   ...:         df.source.rolling(window, center=True).mean())
   ...:

然后我们在底部追加一个新行：

In [4]: df = df.append(pd.Series({'source': 100}), ignore_index=True)

In [5]: df
Out[5]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0             2.0             NaN
2      4.0             4.0             4.0
3      6.0             6.0             6.0
4      8.0             8.0             8.0
5     10.0            10.0            10.0
6     12.0            12.0            12.0
7     14.0            14.0            14.0
8     16.0            16.0             NaN
9     18.0             NaN             NaN
10   100.0             NaN             NaN

我们需要更新的数据量取决于窗口的长度。例如，为了更新rolling_mean_3，我们需要使用最后五行的信息来更新最后两行。为了安全起见，我们可以重新计算最后几2*window行加上您添加的行数：

In [6]: df.source.iloc[-(2*window+1):].rolling(window, center=True).mean()
Out[6]:
4           NaN
5     10.000000
6     12.000000
7     14.000000
8     16.000000
9     44.666667
10          NaN
Name: source, dtype: float64

其中第 5-10 行的数据正确。请注意，第 4 行在此版本中不正确（现在是NaN），但我们可以使用此结果仅更新最后[-(window+1):]几行。这是完整的解决方案：

In [7]: updated_rows = 1
In [8]: for window in [3, 5]:
   ...:     update_column_name = f'rolling_mean_{window}'
   ...:     update_column_index = df.columns.get_loc(update_column_name)
   ...:     df.iloc[-(window+updated_rows):, update_column_index] = (
   ...:         df.source
   ...:         .iloc[-(window*2+updated_rows):]
   ...:         .rolling(window, center=True).mean()
   ...:         .iloc[-(window+updated_rows):]
   ...:     )

In [9]: df
Out[9]:
    source  rolling_mean_3  rolling_mean_5
0      0.0             NaN             NaN
1      2.0        2.000000             NaN
2      4.0        4.000000             4.0
3      6.0        6.000000             6.0
4      8.0        8.000000             8.0
5     10.0       10.000000            10.0
6     12.0       12.000000            12.0
7     14.0       14.000000            14.0
8     16.0       16.000000            32.0
9     18.0       44.666667             NaN
10   100.0             NaN             NaN

现在已更新为具有正确计算的尾部。

从技术上讲，对于居中滚动操作，您只需要更新最后几行，从数据帧的floor(window/2)+updated_rows最后一行绘制。window+updated_rows所以你可以这样做来真正优化事情。

如果您生成不居中的滚动统计数据，则方法应该相同，但不包括居中标志。