Nlp 伯特多语言模型-用于分类

我正在尝试用BERT建立多语言分类模型

我正在使用一种基于特征的方法（将前4个隐藏层的特征连接起来），并在此基础上构建一个CNN分类器

之后，我使用来自同一领域的不同语言（比如汉语）进行测试，但这些语言的准确性接近于零

我不确定我是否理解论文，所以我的问题是：

可以在一种语言上微调多语言模型吗 （例如英语）或使用基于特征的方法提取特征并构建Classifier，然后对不同语言（其他语言）使用此模型 的文档中支持的语言列表中的语言 伯特

---

另外，我的假设是“关于BERT，它映射了我认为它是嵌入层，将不同语言中具有相同上下文的单词映射到类似的簇”，对吗？

我不是100%确定，但据我所知，BERT并没有明确地这样做（你在中文文本中得到一些英文名称，因此你可能会从英文中预测出中文标记，并将它们放在单个空格中，但这似乎是不够的）。你得到字节对编码作为特征，它们对于英文和中文将完全不同。你的方法可能适用于一些相近的语言（法语和英语）（非常有限的）范围。您可以检查与预期相符的内容。您可以在冻结MUSE嵌入的基础上训练分类器。@DenisGordeev谢谢您的回答和有关的链接MUSE@DenisGordeev在这里，FB提供了一种获取语言不可知特性的方法（激光）这与MUSE的做法类似吗？你有过激光方面的经验吗？如果有，那么你认为哪一个更适合MUSE或激光？不要追逐最新的闪亮模型…了解你的问题，你所需要的只是一个分类器，你有没有尝试过简单的朴素贝叶斯最大似然基线？你有没有尝试过普通的多层feed-forward network？@Deeplearnbeginner我没有激光方面的经验，但从他们的描述来看，为您的目的使用激光会更容易（它有更多的语言）。我真的会先尝试激光。我不是100%确定，但据我所知，伯特并没有明确地这么做（你在中文文本中得到一些英文名称，因此你可能会从英文中预测出中文标记，并将它们放在单个空格中，但这似乎是不够的）。你得到字节对编码作为特征，它们对于英文和中文将完全不同。你的方法可能适用于一些相近的语言（法语和英语）（非常有限的）范围。您可以检查与预期相符的内容。您可以在冻结MUSE嵌入的基础上训练分类器。@DenisGordeev谢谢您的回答和有关的链接MUSE@DenisGordeev在这里，FB提供了一种获取语言不可知特性的方法（激光）这与MUSE的做法类似吗？你有过激光方面的经验吗？如果有，那么你认为哪一个更适合MUSE或激光？不要追逐最新的闪亮模型…了解你的问题，你所需要的只是一个分类器，你有没有尝试过简单的朴素贝叶斯最大似然基线？你有没有尝试过普通的多层feed-forward network？@Deeplearnbeginner我没有激光方面的经验，但从他们的描述来看，为您的目的使用激光会更容易（它有更多的语言）。我真的会先尝试激光。