Python 德国新闻分类的HuggingFace-Transformers模型

Python 德国新闻分类的HuggingFace-Transformers模型,python,nlp,text-classification,bert-language-model,huggingface-transformers,Python,Nlp,Text Classification,Bert Language Model,Huggingface Transformers,我一直在为我的项目(多类德语文本分类)寻找合适的模型,但对提供的模型有点困惑。有些模型带有文本分类标记,但它们用于二进制分类。大多数其他模型都用于[MASK]单词预测。我不确定该选择哪一个,以及它是否适用于多个类 如果您有任何建议,我将不胜感激 当您的类完全不同时,您不需要寻找特定的文本分类模型,因为大多数列出的模型都使用一个基本模型,并根据需要微调基本层和训练输出层。在您的情况下,您将删除输出层,它们对基本层的微调不会对您有多大好处或伤害。有时,他们扩展了词汇表,这可能对您的任务有益,但您必须

我一直在为我的项目(多类德语文本分类)寻找合适的模型,但对提供的模型有点困惑。有些模型带有
文本分类
标记,但它们用于二进制分类。大多数其他模型都用于
[MASK]
单词预测。我不确定该选择哪一个,以及它是否适用于多个类


如果您有任何建议,我将不胜感激

当您的类完全不同时,您不需要寻找特定的文本分类模型,因为大多数列出的模型都使用一个基本模型,并根据需要微调基本层和训练输出层。在您的情况下,您将删除输出层,它们对基本层的微调不会对您有多大好处或伤害。有时,他们扩展了词汇表,这可能对您的任务有益,但您必须检查描述(通常是稀疏的:())和词汇表,以获得有关相应模型的更多详细信息

一般来说,我建议您立即使用其中一个基本模型,并且仅在结果不充分的情况下寻找其他模型

以下是具有6个类的bert示例:

从transformers导入BertForSequenceClassification,BertTokenizer
标记器=BertTokenizer.from_pretrained(“bert-base-german dbmdz uncased”)
模型=BertForSequenceClassification.from_pretrained(“bert base german dbmdz uncased”,num_labels=6)

我想你会对你的模型进行微调吗?@cronoik是的,我正在寻找一个模型,用我的数据对其进行微调