Nlp HuggingFace GPT20模型是否可用于非多项选择下一代令牌预测?

Nlp HuggingFace GPT20模型是否可用于非多项选择下一代令牌预测?,nlp,huggingface-transformers,transformer,gpt-2,Nlp,Huggingface Transformers,Transformer,Gpt 2,根据HuggingFace Transformer的网站(),GPT2DoubleHeadModel(不是GPT2LMHeadModel,而是GPT2DoubleHeadModel)是GPT-2 Transformer模型,上面有一个语言模型和一个多选分类头,例如用于RocStories/SWAG任务 这是否意味着我们可以使用GPT2DoubleHeadsModel来处理非基于多项选择的语言建模任务(即下一个单词预测)以及多项选择题,而无需对其头部进行任何调整?或者,如果我想进行基于非多项选择的

根据HuggingFace Transformer的网站(),GPT2DoubleHeadModel(不是GPT2LMHeadModel,而是GPT2DoubleHeadModel)是GPT-2 Transformer模型,上面有一个语言模型和一个多选分类头,例如用于RocStories/SWAG任务

这是否意味着我们可以使用GPT2DoubleHeadsModel来处理非基于多项选择的语言建模任务(即下一个单词预测)以及多项选择题,而无需对其头部进行任何调整?或者,如果我想进行基于非多项选择的下一个单词预测,我是否需要调整gpt2doubleheadmodel的标题,因为gpt2doubleheadmodel仅用于回答多项选择类型的问题

我对此感到有点困惑,因为我从阅读你的GPT-2论文中得到的印象是GPT-2使用语言建模过程来处理每种类型的语言任务(因此GPT-2将只在顶部有常规语言建模头),但名称“GPT2DoubleHeadModel”似乎建议我需要调整GPT-2的头部以适应不同类型的语言任务

谢谢,