Nlp 精度不随大模型的增加而增加

Nlp 精度不随大模型的增加而增加,nlp,pytorch,bert-language-model,Nlp,Pytorch,Bert Language Model,我使用了BERT\u base\u cased和BERT\u large\u cased模型进行多类文本分类。用BERT_base_案例,我得到了令人满意的结果。当我尝试使用BERT_large_cased模型时,所有时代的精确度都是一样的 有了BERT\u base\u cased,就不存在这样的问题。但是有了BERT\u large\u cased,为什么准确度在所有时代都是一样的呢?非常感谢您的帮助……………您用于培训的样本数量是多少?@AshWingeted'Sa我在两个数据集上对B

我使用了
BERT\u base\u cased
BERT\u large\u cased
模型进行多类文本分类。用BERT_base_案例,我得到了令人满意的结果。当我尝试使用BERT_large_cased模型时,所有时代的精确度都是一样的


有了
BERT\u base\u cased
,就不存在这样的问题。但是有了
BERT\u large\u cased
,为什么准确度在所有时代都是一样的呢?非常感谢您的帮助……………

您用于培训的样本数量是多少?@AshWingeted'Sa我在两个数据集上对BERT large进行了实验。数据集的大小为6500、2300。这对于BERT来说太小了,即使在BERT的情况下,这也是一个巨大的模型。数据集的小规模是这种行为的唯一原因。在本文中,(),作者在三个数据集上成功地用大小为5816的训练集对BERT大进行了实验,5921和7038。你用于训练的样本数量是多少?@Ashwingeted'Sa我在两个数据集上对BERT large进行了实验。数据集的大小为6500、2300。这对于BERT来说太小了,即使在BERT的情况下,这也是一个巨大的模型。数据集的小规模是这种行为的唯一原因。在本文中,(),作者在三个数据集上成功地用训练集大小为5816、5921和7038的BERT大数据集进行了实验。