熊猫在数据框中组合稀疏列

Question

我正在使用 Python、Pandas 进行数据分析。我在不同的列中有稀疏分布的数据，如下所示

| id | col1a | col1b | col2a | col2b | col3a | col3b |
|----|-------|-------|-------|-------|-------|-------|
|  1 |   11  |   12  |  NaN  |  NaN  |  NaN  |  NaN  |
|  2 |  NaN  |  NaN  |   21  |   86  |  NaN  |  NaN  |
|  3 |   22  |   87  |  NaN  |  NaN  |  NaN  |  NaN  |
|  4 |  NaN  |  NaN  |   NaN |  NaN  |  545  |   32  |

我想将不同列中的这些稀疏分布的数据组合到如下所示的紧密排列的列中。

| id | group |  cola |  colb |
|----|-------|-------|-------|
| 1  |  g1   |   11  |   12  |
| 2  |  g2   |   21  |   86  |
| 3  |  g1   |   22  |   87  |
| 4  |  g3   |  545  |   32  |

我尝试过的是以下操作，但无法正确执行

df['cola']=np.nan
df['colb']=np.nan
df['cola'].fillna(df.col1a,inplace=True)
df['colb'].fillna(df.col1b,inplace=True)
df['cola'].fillna(df.col2a,inplace=True)
df['colb'].fillna(df.col2b,inplace=True)
df['cola'].fillna(df.col3a,inplace=True)
df['colb'].fillna(df.col3b,inplace=True)

但我认为必须有更简洁有效的方法来做到这一点。如何以更好的方式做到这一点？

Answer 1

您可以使用df.stack()假设'id'您的索引其他设置'id'为索引。然后使用pd.pivot_table.

df = df.stack().reset_index(name='val',level=1)
df['group'] = 'g'+ df['level_1'].str.extract('col(\d+)')
df['level_1'] = df['level_1'].str.replace('col(\d+)','')
df.pivot_table(index=['id','group'],columns='level_1',values='val')

level_1    cola  colb
id group
1  g1      11.0  12.0
2  g2      21.0  86.0
3  g1      22.0  87.0
4  g3     545.0  32.0

Answer 2

另一种选择 pd.wide_to_long

m = pd.wide_to_long(df,['col'],'id','j',suffix='\d+\w+').reset_index()

(m.join(pd.DataFrame(m.pop('j').agg(list).tolist()))
  .assign(group=lambda x:x[0].radd('g'))
  .set_index(['id','group',1])['col'].unstack().dropna()
  .rename_axis(None,axis=1).add_prefix('col').reset_index())

   id group cola colb
0   1    g1   11   12
1   2    g2   21   86
2   3    g1   22   87
3   4    g3  545   32