使用滚动标准偏差检测 Pandas 数据帧中的异常值

Question

我有一个用于快速傅立叶变换信号的数据帧。

有一列表示频率（以 Hz 为单位），另一列表示相应的幅度。

我读过几年前发表的一篇文章，您可以使用一个简单的布尔函数来排除或仅包含最终数据框中高于或低于几个标准偏差的异常值。

df = pd.DataFrame({'Data':np.random.normal(size=200)})  # example dataset of normally distributed data. 
df[~(np.abs(df.Data-df.Data.mean())>(3*df.Data.std()))] # or if you prefer the other way around

问题是当频率增加到 50 000Hz 时，我的信号会下降几个幅度（最多小 10 000 倍）。因此，我无法使用仅导出高于 3 个标准差的值的函数，因为我只会从前 50 Hz 中提取“峰值”异常值。

有没有办法可以在我的数据框中导出高于滚动平均值的 3 个滚动标准偏差的异常值？

Answer 1

这可能最好用一个简单的例子来说明。基本上，您将现有数据与滚动平均值加三个标准差的新列进行比较，也是在滚动的基础上进行的。

import pandas as pd
import numpy as np
np.random.seed(123)
df = pd.DataFrame({'Data':np.random.normal(size=200)})

# Create a few outliers (3 of them, at index locations 10, 55, 80)
df.iloc[[10, 55, 80]] = 40.    

r = df.rolling(window=20)  # Create a rolling object (no computation yet)
mps = r.mean() + 3. * r.std()  # Combine a mean and stdev on that object

print(df[df.Data > mps.Data])  # Boolean filter
#     Data
# 55  40.0
# 80  40.0

添加一个仅过滤离群值的新列，在其他地方使用 NaN：

df['Peaks'] = df['Data'].where(df.Data > mps.Data, np.nan)

print(df.iloc[50:60])
        Data  Peaks
50  -1.29409    NaN
51  -1.03879    NaN
52   1.74371    NaN
53  -0.79806    NaN
54   0.02968    NaN
55  40.00000   40.0
56   0.89071    NaN
57   1.75489    NaN
58   1.49564    NaN
59   1.06939    NaN

这里.where返回

与形状相同的对象，self其对应条目来自selfwherecond为 True，否则来自other。