Pandas 按条件分组/删除重复数据

Question

我有一个包含重复项的 DataFrame。我想删除带有groupby和 条件的重复项。

import pandas as pd
import numpy as np

df = pd.DataFrame({
               'id': [0, 1, 2, 3, 4, 5],
               'nm': ['A','A','A','B','B','B'],
               'Rev': ['$10','$20','$30','$40','$50','$60'],
               'Exp': ['$2','$4','$6','$8','$10','$12'],
               'Dt': ['2019-03-01', '2020-09-30', np.nan, '2021-09-30', '2022-04-01', ' ']
             })

重复数据删除后，我想保留最近日期的行。

因此，对于每个组nm，保留具有最近日期的行。请注意，日期可能是空白' '字符串或np.nan.

预期输出：

id nm Rev Exp Dt  
1  A  $20 $4  2020-09-30
4  B  $50 $10 2022-04-01

Answer 1

我们需要首先将日期时间转换为日期时间对象，然后使用sort_values+drop_duplicates

df['Dt'] = pd.to_datetime(df['Dt'], errors = 'coerce')
out = df.sort_values('Dt',ascending=False).drop_duplicates('nm')
out
Out[231]: 
   id nm  Rev  Exp         Dt
4   4  B  $50  $10 2022-04-01
1   1  A  $20   $4 2020-09-30