Nlp 在特定领域继续训练预训练的伯特模型的最简单方法是什么？_Nlp_Text Classification_Bert Language Model_Huggingface Transformers_Pytorch Lightning

Nlp 在特定领域继续训练预训练的伯特模型的最简单方法是什么？

nlp

Nlp 在特定领域继续训练预训练的伯特模型的最简单方法是什么？,nlp,text-classification,bert-language-model,huggingface-transformers,pytorch-lightning,Nlp,Text Classification,Bert Language Model,Huggingface Transformers,Pytorch Lightning,我想使用预先训练好的BERT模型，以便将其用于文本分类任务（我正在使用Huggingface库）。然而，预先训练的模型是在不同于我的域上训练的，我有一个大的未注数据集，可以用于微调它。如果我在特定任务（BertForSequenceClassification）的培训中只使用带标记的示例并“在进行中”对其进行微调，则数据集太小，无法适应特定领域的语言模型。这样做的最佳方式是什么？谢谢

我想使用预先训练好的BERT模型，以便将其用于文本分类任务（我正在使用Huggingface库）。然而，预先训练的模型是在不同于我的域上训练的，我有一个大的未注数据集，可以用于微调它。如果我在特定任务（BertForSequenceClassification）的培训中只使用带标记的示例并“在进行中”对其进行微调，则数据集太小，无法适应特定领域的语言模型。这样做的最佳方式是什么？谢谢