熊猫：按组设置差异

Question

我有一个非常大的数据集，其中包含每个月每个团队的成员。我想找到每个团队的增删改查。因为我的数据集非常大，所以我尝试尽可能多地使用内置函数。

我的数据集如下所示：

  month team    members
0   0   A   X, Y, Z
1   1   A   X, Y
2   2   A   W, X, Y
3   0   B   D, E
4   1   B   D, E, F
5   2   B   F

它由以下代码生成：

num_months = 3
num_teams = 2
obs = num_months*num_teams

df = pd.DataFrame({"month": [i % num_months for i in range(obs)],
                  "team": ['AB'[i // num_months] for i in range(obs)],
                   "members": ["X, Y, Z", "X, Y", "W, X, Y", "D, E", "D, E, F", "F"]})
df

结果应该是这样的：

    month   team    members additions   deletions
0   0       A       X, Y, Z None    None
1   1       A       X, Y    None    Z
2   2       A       W, X, Y W       None
3   0       B       D, E    None    None
4   1       B       D, E, F F       None
5   2       B       F       None    D, E

或在 Python 代码中

df = pd.DataFrame({"month": [i % num_months for i in range(obs)],
                  "team": ['AB'[i // num_months] for i in range(obs)],
                   "members": ["X, Y, Z", "X, Y", "W, X, Y", "D, E", "D, E, F", "F"],
                  "additions": [None, None, "W", None, "F", None],
                   "deletions": [None, "Z", None, None, None, "D, E"]
                  })

立即想到的一种技术是创建一个新列，显示每个组中成员的滞后值，然后获取两列之间的集合差异（双向）。

有没有办法使用 Pandas 内置函数在列之间设置差异？

我还应该尝试其他技术吗？

Answer 1

使用set，groupby，apply，和shift。

• 为了效率：
  • 转换members为set类型，因为-是不受支持的操作数，这将导致TypeError.
  • 离开additions和deletions作为set类型

使用 apply

• 使用 60000 行的数据框：
  • 91.4 ms ± 2.77 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

# clean the members column
df.members = df.members.str.replace(' ', '').str.split(',').map(set)

# create del and add
df['deletions'] = df.groupby('team')['members'].apply(lambda x: x.shift() - x)
df['additions'] = df.groupby('team')['members'].apply(lambda x: x - x.shift())

# result
 month team    members additions deletions
     0    A  {Z, X, Y}       NaN       NaN
     1    A     {X, Y}        {}       {Z}
     2    A  {W, X, Y}       {W}        {}
     0    B     {D, E}       NaN       NaN
     1    B  {D, F, E}       {F}        {}
     2    B        {F}        {}    {D, E}

更有效率

• pandas.DataFrame.diff
• 使用 60000 行的数据框：
  • 60.7 ms ± 3.54 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

df['deletions'] = df.groupby('team')['members'].diff(periods=-1).shift()
df['additions'] = df.groupby('team')['members'].diff()