Pandas DataFrame能否有效地计算PMI(Pointwise Mutual Information)？

Question

尽管像Scikit-learn这样的库提供了整体互信息度量(通过直方图),但我已经环顾四周并且还没有找到用于计算Pointwise 互信息(Wiki PMI)的框架或现有代码的简单方法.这是在Python和熊猫的背景下!

我的问题:

我有一个DataFrame,每行有一系列[x,y]示例,并希望根据公式(或更简单的公式)计算一系列PMI值:

PMI(x, y) = log( p(x,y) / p(x) * p(y) )

到目前为止,我的方法是:

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会给出有效和/或有效的计算吗？

样本I/O:

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

Answer 1

我会加三位.

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

1. df.groupby(x)[x].transform('count')并且df.groupby(y)[y].transform('count')应该使用以便仅计数被撤销.
2. np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) 要使用的概率.
3. 处理数据帧的副本,而不是修改输入数据帧.