Machine learning 这个文本标记器方法的学名是什么?
我是机器学习新手,不久前我在一个教程中见过这种方法,但我再也找不到了。我敢肯定这不是一堆单词或一个热编码或n-gram-tho 该方法的示例:Machine learning 这个文本标记器方法的学名是什么?,machine-learning,deep-learning,tokenize,Machine Learning,Deep Learning,Tokenize,我是机器学习新手,不久前我在一个教程中见过这种方法,但我再也找不到了。我敢肯定这不是一堆单词或一个热编码或n-gram-tho 该方法的示例: This is an example sentence 我的词汇量如下: This 0 is 1 an 2 example 3 sentence 4 因此,标记化的句子将是01234 它叫什么 编辑:输入错误这只是将单个单词(唯一标记)视为分类特征。分类变量只能从一个有限的集合中赋值,在您的例子中是一个非负整数集合,最多可分配字数。然后,一个句子被表
This is an example sentence
我的词汇量如下:
This 0
is 1
an 2
example 3
sentence 4
因此,标记化的句子将是01234
它叫什么
编辑:输入错误这只是将单个单词(唯一标记)视为分类特征。分类变量只能从一个有限的集合中赋值,在您的例子中是一个非负整数集合,最多可分配字数。然后,一个句子被表示为映射到其值赋值的一系列标记。这通常只是一个热编码的前兆