如何使用 Pytorch 计算语言模型的困惑度

Question

我正在使用 Huggingface Transformers 库-pytorch 微调用于语言生成任务的 GPT-2 模型，并且我需要计算微调模型的评估分数（困惑度）。但我不确定如何使用损失来做到这一点。我想知道如何使用 sum_loss 或平均损失来计算模型的困惑度，也欢迎任何其他建议。任何帮助都是appriced。

编辑：

outputs = model(article_tens, labels=article_tens)

        loss, prediction_scores = outputs[:2]                        
        loss.backward()
        sum_loss = sum_loss + loss.detach().data

上面给出的是我如何计算微调任务的每批数据的损失。

sum loss 1529.43408203125
loss 4.632936000823975
prediction_scores tensor([[[-11.2291,  -9.2614, -11.8575,  ..., -18.1927, -17.7286, -11.9215],
         [-67.2786, -63.5928, -70.7110,  ..., -75.3516, -73.8672, -67.6637],
         [-81.1397, -80.0295, -82.9357,  ..., -83.7913, -85.7201, -78.9877],
         ...,
         [-85.3213, -82.5135, -86.5459,  ..., -90.9160, -90.4393, -82.3141],
         [-44.2260, -43.1702, -49.2296,  ..., -58.9839, -55.2058, -42.3312],
         [-63.2842, -59.7334, -61.8444,  ..., -75.0798, -75.7507, -54.0160]]],
       device='cuda:0', grad_fn=<UnsafeViewBackward>)

上面给出的是仅打印批次的损失时的情况

Answer 1

如维基百科-概率模型的困惑度所示，概率模型的困惑度计算公式为：

指数是交叉熵。虽然交叉熵传统上使用以 2 为底的对数 ( b = 2 )，但 PyTorch 等深度学习框架使用自然对数 ( b = e )。

因此，要从交叉熵损失中获得困惑度，只需应用torch.exp到损失即可。

perplexity = torch.exp(loss)

在这种情况下使用平均损失（指数的1 / N部分），如果您使用损失之和而不是平均值，则困惑会失控（非常大），很容易超过最大浮点数，结果为无穷大。