Zscore每组的熊猫过滤异常

Question

我有一个数据框，其中的“组”列可以有50个不同的值，而“值”列是数字的。

例如：

pd.DataFrame({'group':['a','b','c','a','a','b','a','c','c'],'value':[2,123,4,2.3,2.5,127,128,4,0.003]})

group   value
0   a   2.000
1   b   123.000
2   c   4.000
3   a   2.300
4   a   2.500
5   b   127.000
6   a   128.000
7   c   4.000
8   c   0.003

我想从数据框中删除与其组异常的值，例如abs（zscore）> 3或类似的值。在该示例中，值a，128将被删除，因为它对于组a是异常的，值c，0.003也将被删除。123和127是正常的，因为它们的组是“ b”。

输出应类似于（带有z分数列）：

group   value
0   a   2.0
1   b   123.0
2   c   4.0
3   a   2.3
4   a   2.5
5   b   127.0
6   c   4.0

什么是有效的方法？

谢谢！

Answer 1

为z分数创建一个列，按特定组分组：

df['z_score'] = df.groupby('group')['value'].apply(lambda x: (x - x.mean())/x.std())

根据您的阈值过滤df：

df[abs(df['z_score']) > 3]