C# 句子分析和标记化算法

C# 句子分析和标记化算法,c#,nlp,C#,Nlp,我需要分析一个文档,并统计一系列单词的使用次数(因此,分析不是针对单个单词,而是针对一批重复出现的单词)。我读到压缩算法做了一些类似于我想要的事情——创建文本块的字典,并用一条信息报告其频率。 它应该类似于 你有没有用C语言写的东西?这很容易实现 使用(字符串类的成员函数)将字符串拆分为单词。(您可以使用codeproject url中的分隔符) 一个forloop,用于枚举所有n-gram,并使用字典获取计数 这很容易实现 使用(字符串类的成员函数)将字符串拆分为单词。(您可以使用codepr

我需要分析一个文档,并统计一系列单词的使用次数(因此,分析不是针对单个单词,而是针对一批重复出现的单词)。我读到压缩算法做了一些类似于我想要的事情——创建文本块的字典,并用一条信息报告其频率。 它应该类似于
你有没有用C语言写的东西?

这很容易实现

  • 使用(字符串类的成员函数)将字符串拆分为单词。(您可以使用codeproject url中的分隔符)

  • 一个forloop,用于枚举所有n-gram,并使用
    字典
    获取计数


  • 这很容易实现

  • 使用(字符串类的成员函数)将字符串拆分为单词。(您可以使用codeproject url中的分隔符)

  • 一个forloop,用于枚举所有n-gram,并使用
    字典
    获取计数