在pandas数据框中散列每个值

Question

在python中,我试图找到最快的方法来散列pandas数据框中的每个值.

我知道任何字符串都可以使用:

hash('a string')

但是如何在pandas数据框的每个元素上应用此函数？

这可能是一件非常简单的事情,但我刚刚开始使用python.

Answer 1

通过该hash功能,apply在str列:

In [37]:

df = pd.DataFrame({'a':['asds','asdds','asdsadsdas']})
df
Out[37]:
            a
0        asds
1       asdds
2  asdsadsdas
In [39]:

df['hash'] = df['a'].apply(hash)
df
Out[39]:
            a                 hash
0        asds  4065519673257264805
1       asdds -2144933431774646974
2  asdsadsdas -3091042543719078458

如果你想对每个元素执行此操作,请调用applymap:

In [42]:

df = pd.DataFrame({'a':['asds','asdds','asdsadsdas'],'b':['asewer','werwer','tyutyuty']})
df
Out[42]:
            a         b
0        asds    asewer
1       asdds    werwer
2  asdsadsdas  tyutyuty
In [43]:

df.applymap(hash)
?
Out[43]:
                     a                    b
0  4065519673257264805  7631381377676870653
1 -2144933431774646974 -6124472830212927118
2 -3091042543719078458 -1784823178011532358

Answer 2

除了@EdChum之外，还有一个注意事项：hash()在每台机器上每次运行时不会返回相同的字符串值。根据您的用例，您最好使用

import hashlib

def md5hash(s: str): 
    return hashlib.md5(s.encode('utf-8')).hexdigest() # or SHA, ...

df['a'].apply(md5hash)
# or
df.applymap(md5hash)

或者设置PYTHONHASHSEED环境变量。对于那些想知道为什么存在这种行为的人来说，它是为了防止恶意攻击者发送旨在冲突的密钥。

Answer 3

Pandas 还有一个在数组或列上应用哈希函数的函数：

import pandas as pd

df = pd.DataFrame({'a':['asds','asdds','asdsadsdas']})
df["hash"] = pd.util.hash_array(df["a"].to_numpy())