Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/haskell/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Machine learning 这个文本标记器方法的学名是什么?_Machine Learning_Deep Learning_Tokenize - Fatal编程技术网

Machine learning 这个文本标记器方法的学名是什么?

Machine learning 这个文本标记器方法的学名是什么?,machine-learning,deep-learning,tokenize,Machine Learning,Deep Learning,Tokenize,我是机器学习新手,不久前我在一个教程中见过这种方法,但我再也找不到了。我敢肯定这不是一堆单词或一个热编码或n-gram-tho 该方法的示例: This is an example sentence 我的词汇量如下: This 0 is 1 an 2 example 3 sentence 4 因此,标记化的句子将是01234 它叫什么 编辑:输入错误这只是将单个单词(唯一标记)视为分类特征。分类变量只能从一个有限的集合中赋值,在您的例子中是一个非负整数集合,最多可分配字数。然后,一个句子被表

我是机器学习新手,不久前我在一个教程中见过这种方法,但我再也找不到了。我敢肯定这不是一堆单词或一个热编码或n-gram-tho

该方法的示例:

This is an example sentence
我的词汇量如下:

This 0
is 1
an 2
example 3
sentence 4
因此,标记化的句子将是
01234

它叫什么


编辑:输入错误

这只是将单个单词(唯一标记)视为分类特征。分类变量只能从一个有限的集合中赋值,在您的例子中是一个非负整数集合,最多可分配字数。然后,一个句子被表示为映射到其值赋值的一系列标记。这通常只是一个热编码的前兆