通过 groupby.apply 创建新列时如何避免临时变量

Question

我想newcol在数据框中创建一个新列df，因为

df.groupby('keycol').apply(somefunc)

显而易见的是：

df['newcol'] = df.groupby('keycol').apply(somefunc)

不起作用：要么df['newcol']最终包含所有nan's （这肯定不是 RHS 评估的结果），要么引发一些异常（异常的详细信息根据somefunc返回的内容而有很大差异）。

我尝试了上述的许多变体，包括类似的东西

import pandas as pd
df['newcol'] = pd.Series(df.groupby('keycol').apply(somefunc), index=df.index)

他们都失败了。

唯一有效的方法是定义一个中间变量：

import pandas as pd

tmp = df.groupby('keycol').apply(lambda x: pd.Series(somefunc(x)))
tmp.index = df.index
df['rank'] = tmp

有没有办法无需创建中间变量即可实现此目的？

（该文档GroupBy.apply几乎没有内容。）

Answer 1

让我们举一个例子，我想我可以说明为什么你的第一次尝试失败了：

示例数据：

n = 25
df = pd.DataFrame({'expenditure' : np.random.choice(['foo','bar'], n),
                   'groupid' : np.random.choice(['one','two'], n),
                  'coef' : randn(n)})
print df.head(10)

结果是：

       coef expenditure groupid
0  0.874076         bar     one
1 -0.972586         foo     two
2 -0.003457         bar     one
3 -0.893106         bar     one
4 -0.387922         bar     two
5 -0.109405         bar     two
6  1.275657         foo     two
7 -0.318801         foo     two
8 -1.134889         bar     two
9  1.812964         foo     two

mean因此，如果对分组数据应用一个简单的函数 ，我们将得到以下结果：

df2= df.groupby('groupid').apply(mean)
print df2

这是：

             coef
groupid          
one     -0.215539
two      0.149459

因此，上面的数据框由 索引groupid并具有一列coef。

实际上，您首先尝试执行的操作如下：

df['newcol'] = df2

这给出了 的所有 NaN newcol。老实说，我不知道为什么这不会引发错误。我不确定为什么它会产生任何东西。我认为你真正想做的是合并df2回df

要合并 df 和 df2，我们需要从 df2 中删除索引，重命名新列，然后合并：

df2= df.groupby('groupid').apply(mean)
df2.reset_index(inplace=True)
df2.columns = ['groupid','newcol']

df.merge(df2)

我认为这就是你所追求的。

这是一个非常常见的习惯用法，Pandas 包含了transform将所有这些包装成更简单的语法的方法：

df['newcol'] = df.groupby('groupid').transform(mean)
print df.head()

结果：

       coef expenditure groupid    newcol
0  1.705825         foo     one -0.025112
1 -0.608750         bar     one -0.025112
2 -1.215015         bar     one -0.025112
3 -0.831478         foo     two -0.073560
4  2.174040         bar     one -0.025112

更好的文档就在这里。