在Pandas DataFrame Python中使用pii匿名化特定列

Question

我已经用json文件加载了一个s3存储桶，并将其解析/展平为pandas数据框。现在我有一个175列的数据框，其中4列包含个人身份信息。

我正在寻找一种匿名化这些列（名称和地址）的快速解决方案。我需要保留多个信息，以便如果多次出现的同一个人的姓名或地址具有相同的哈希值。

我可以在熊猫或其他软件包中使用现有功能吗？

Answer 1

使用 aCategorical将是一种有效的方法来做到这一点 - 主要的警告是编号将仅基于数据中的排序，因此如果需要在多个列/数据集中使用此编号方案，则需要小心。

df = pd.DataFrame({'ssn': [1, 2, 3, 999, 10, 1]})

df['ssn_anon'] = df['ssn'].astype('category').cat.codes

df
Out[38]: 
   ssn  ssn_anon
0    1         0
1    2         1
2    3         2
3  999         4
4   10         3
5    1         0