该pandas drop_duplicates功能非常适合"统一"数据帧.但是,要传递的关键字参数之一是take_last=True或take_last=False,虽然我想删除列的子集中所有重复的行.这可能吗？
A B C
0 foo 0 A
1 foo 1 A
2 foo 1 B
3 bar 1 A
作为一个例子,我想下降匹配列的行A和C所以这应该丢弃的行0和1.
from itertools import product
import pandas as pd
df = pd.DataFrame.from_records(product(range(10), range(10)))
df = df.sample(90)
df.columns = "c1 c2".split()
df = df.sort_values(df.columns.tolist()).reset_index(drop=True)
# c1 c2
# 0 0 0
# 1 0 1
# 2 0 2
# 3 0 3
# 4 0 4
# .. .. ..
# 85 9 4
# 86 9 5
# 87 9 7
# 88 9 8
# 89 9 9
#
# [90 rows x 2 columns]
如何快速查找，识别和删除此数据帧中所有对称对的最后一个重复项？
对称对的一个示例是“（0，1）”等于“（1，0）”。后者应删除。
该算法必须快速，因此建议使用numpy。不允许转换为python对象。