英式英语与美式英语的Python-NLP差异

英式英语与美式英语的Python-NLP差异,python,nlp,stanford-nlp,spacy,Python,Nlp,Stanford Nlp,Spacy,目前我正在使用nlp和python进行一个项目。我有内容,需要找到语言。我正在使用spacy来检测语言。这些图书馆只提供英语。我需要找出是英式英语还是美式英语?有什么建议吗 我试过Spacy,NLTK,lang detect。但这些图书馆只提供英语。但我需要显示为英国的en GB和美国的en US。您可以训练自己的模型。许多特定地理位置的英语数据是,但不包括美国英语。应该有一个可以使用的自由子集 一个流行的langid.py语言库允许训练您自己的模型。他们有一个漂亮的房间。他们的模型是基于字符三

目前我正在使用nlp和python进行一个项目。我有内容,需要找到语言。我正在使用spacy来检测语言。这些图书馆只提供英语。我需要找出是英式英语还是美式英语?有什么建议吗


我试过Spacy,NLTK,lang detect。但这些图书馆只提供英语。但我需要显示为英国的en GB和美国的en US。

您可以训练自己的模型。许多特定地理位置的英语数据是,但不包括美国英语。应该有一个可以使用的自由子集

一个流行的langid.py语言库允许训练您自己的模型。他们有一个漂亮的房间。他们的模型是基于字符三格频率的,在这种情况下,这可能不是足够独特的统计数据


另一个选择是使用Pytorch和库等在BERT之上训练分类器。这肯定会得到很好的结果,但是如果你没有深度学习的经验,那么对你来说可能需要做很多工作。

这个问题确实属于数据科学SE。