Nlp 如何使用Pytorch计算语言模型的复杂度

我正在使用huggingface Transformers library pytorch对语言生成任务的GPT-2模型进行微调，我需要计算微调模型的评估分数（困惑度）。但我不确定如何利用损失来实现这一点。我想知道如何计算总损失或平均损失模型的困惑度，或者欢迎任何其他建议。任何帮助都是值得的

编辑：

outputs = model(article_tens, labels=article_tens)

        loss, prediction_scores = outputs[:2]                        
        loss.backward()
        sum_loss = sum_loss + loss.detach().data

上面给出了我如何为微调任务计算每批数据的损失

sum loss 1529.43408203125
loss 4.632936000823975
prediction_scores tensor([[[-11.2291,  -9.2614, -11.8575,  ..., -18.1927, -17.7286, -11.9215],
         [-67.2786, -63.5928, -70.7110,  ..., -75.3516, -73.8672, -67.6637],
         [-81.1397, -80.0295, -82.9357,  ..., -83.7913, -85.7201, -78.9877],
         ...,
         [-85.3213, -82.5135, -86.5459,  ..., -90.9160, -90.4393, -82.3141],
         [-44.2260, -43.1702, -49.2296,  ..., -58.9839, -55.2058, -42.3312],
         [-63.2842, -59.7334, -61.8444,  ..., -75.0798, -75.7507, -54.0160]]],
       device='cuda:0', grad_fn=<UnsafeViewBackward>)

总损失1529.43408203125
损失4.632936000823975
预测分数张量（[[-11.2291，-9.2614，-11.8575，--18.1927，-17.7286，-11.9215]，
[-67.2786, -63.5928, -70.7110,  ..., -75.3516, -73.8672, -67.6637],
[-81.1397, -80.0295, -82.9357,  ..., -83.7913, -85.7201, -78.9877],
...,
[-85.3213, -82.5135, -86.5459,  ..., -90.9160, -90.4393, -82.3141],
[-44.2260, -43.1702, -49.2296,  ..., -58.9839, -55.2058, -42.3312],
[-63.2842, -59.7334, -61.8444,  ..., -75.0798, -75.7507, -54.0160]]],
设备='cuda:0'，梯度fn=）

上面给出的是当仅为批次打印损失时

如所示，计算概率模型复杂度的公式为：

指数是交叉熵。虽然对数基数2（b=2）传统上用于交叉熵，但PyTorch等深度学习框架使用自然对数（b=e）

因此，要从交叉熵损失中获得困惑，只需应用于损失

implexity=torch.exp（丢失）

---

在这种情况下使用的是平均损失（指数的1/N部分），如果使用损失之和而不是平均值，那么困惑就会失控（非常大），很容易超过最大浮点数，导致无穷大。

谢谢你的回答。我已经应用了一个编辑来显示我的编码是如何完成的，您是否建议我可以计算上面代码中给出的损失的复杂度，因为损失的值给我的大部分是负值。谢谢。是的，从

损失中。
预测评分不属于损失的一部分，它们是每个令牌的原始登录，如果您想获得每个令牌的概率，可以将softmax应用于它们。再次感谢您消除了我的疑虑：）如果我计算每个迭代的复杂度总和，并通过将其除以最后的迭代次数来获得平均复杂度，是否正确？否，因为
torch.exp（x/N）！=torch.exp（x）/N
后者是指数级的。你应该得到整个数据集的平均损失，然后从中计算困惑度。