我有一个 Pandas 数据框,如下所示:
tags value
[tag1, tag2, tag3] 0
[tag2, tag3] 10
[tag1, tag3] 50
...
Run Code Online (Sandbox Code Playgroud)
在此数据框上,我想应用一个函数,对于每行的每个标签,将创建一个包含“标签”列和“相关标签”列的新行。这是我所期待的一个例子:
tag value related_tags
tag1 0 [tag2, tag3]
tag2 0 [tag1, tag3]
tag3 0 [tag1, tag2]
tag2 10 [tag3]
tag3 10 [tag2]
tag1 50 [tag3]
tag3 50 [tag1]
Run Code Online (Sandbox Code Playgroud)
我熟悉 Spark DataFrames 但不熟悉 Pandas,有没有一种简单的方法可以实现这一点?
这首先是解除嵌套的问题,展开列表列后tags,问题就更清晰了
newdf=unnesting(df,['tags']).reset_index()
newdf['related_tags']=newdf['index'].map(df.tags)
newdf['related_tags']=[list(set(y)-{x})for x , y in zip(newdf.tags,newdf.related_tags)]
newdf
Out[48]:
index tags value related_tags
0 0 tag1 0 [tag2, tag3]
1 0 tag2 0 [tag3, tag1]
2 0 tag3 0 [tag2, tag1]
3 1 tag2 10 [tag3]
4 1 tag3 10 [tag2]
Run Code Online (Sandbox Code Playgroud)
数据输入
df=pd.DataFrame({'tags':[['tag1','tag2','tag3'],['tag2','tag3']],'value':[0,10]})
Run Code Online (Sandbox Code Playgroud)
自定义函数
def unnesting(df, explode):
idx=df.index.repeat(df[explode[0]].str.len())
df1=pd.concat([pd.DataFrame({x:np.concatenate(df[x].values)} )for x in explode],axis=1)
df1.index=idx
return df1.join(df.drop(explode,1),how='left')
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
1227 次 |
| 最近记录: |