Pytorch 如何使用RoBERTa执行多输出回归？

我有一个问题陈述，我想使用文本输入预测多个连续输出。我试着使用HuggingFace图书馆的“robertaforsequenceclassification”。但文档中指出，当最后一层中的输出数大于1时，会自动使用交叉熵损失，如本文所述：。

---

但是我想在回归设置中使用RMSE损失，在最后一层中有两个类。如何修改它？

BertForSequenceClassification

是一个小型包装器，用于包装

BERTModel

它调用模型，获取池输出（输出元组的第二个成员），并对其应用分类器。代码在这里

---

最简单的解决方案是编写自己的简单包装器类（基于

BertForSequenceClassification

类），该类将进行回归，并以您喜欢的损失进行回归。

谢谢！就这么做了：）嘿，史瑞亚斯，你能用伯特做回归任务吗，结果如何？你能参考一下代码吗？非常感谢。