Python 汉语字与词的辨析

Python 汉语字与词的辨析,python,nlp,Python,Nlp,我正在尝试创建一个python程序,可以在文本文档中查找汉语字符和单词的频率。我面临的问题是,许多普通话单词只是两个或两个以上单词的组合,例如:“you”就是你 “你好”是你好. 我的程序有什么方法可以看到吗你好 并认识到这不是两个词(你和好),而是一个词(你好)你可能需要一个懂普通话的自然语言处理库。词之间没有空格吗?词之间没有空格吗

我正在尝试创建一个python程序,可以在文本文档中查找汉语字符和单词的频率。我面临的问题是,许多普通话单词只是两个或两个以上单词的组合,例如:“you”就是你 “你好”是你好. 我的程序有什么方法可以看到吗你好 并认识到这不是两个词(你和好),而是一个词(你好)

你可能需要一个懂普通话的自然语言处理库。词之间没有空格吗?词之间没有空格吗