Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Nlp 我怎样才能创作单字呢_Nlp_Tokenize_Bert Language Model_Vocabulary_Sentencepiece - Fatal编程技术网
Fatal编程技术网
  • nlp/
  • Nlp 我怎样才能创作单字呢

Nlp 我怎样才能创作单字呢

nlp

Nlp 我怎样才能创作单字呢,nlp,tokenize,bert-language-model,vocabulary,sentencepiece,Nlp,Tokenize,Bert Language Model,Vocabulary,Sentencepiece,我想用我自己的数据（非英语）从头开始训练伯特。为此，我需要为单词片段标记器生成vocab。由于谷歌使用的词条库不是开源的，我正在寻找其他替代方案。我能用句子块吗

我想用我自己的数据（非英语）从头开始训练伯特。为此，我需要为单词片段标记器生成vocab。由于谷歌使用的词条库不是开源的，我正在寻找其他替代方案。我能用句子块吗