我有熊猫 DF 如下,
id age gender country sales_year
1 None M India 2016
2 23 F India 2016
1 20 M India 2015
2 25 F India 2015
3 30 M India 2019
4 36 None India 2019
Run Code Online (Sandbox Code Playgroud)
我想按 id 分组,根据 sales_date 取最新的 1 行,所有非空元素。
预期输出,
id age gender country sales_year
1 20 M India 2016
2 23 F India 2016
3 30 M India 2019
4 36 None India 2019
Run Code Online (Sandbox Code Playgroud)
在pyspark中,
df = df.withColumn('age', f.first('age', True).over(Window.partitionBy("id").orderBy(df.sales_year.desc())))
Run Code Online (Sandbox Code Playgroud)
但我需要在熊猫中相同的解决方案。
编辑:: …