Keras标记器如何处理看不见的数据?
假设我已经用一些词汇训练了一个标记器,那么keras标记器在遇到词汇训练数据中不存在的单词时会做什么呢?它只是忽略它吗?根据文档,如果设置oov_标记,您应该能够处理看不见的单词Keras标记器如何处理看不见的数据?,keras,nlp,Keras,Nlp,假设我已经用一些词汇训练了一个标记器,那么keras标记器在遇到词汇训练数据中不存在的单词时会做什么呢?它只是忽略它吗?根据文档,如果设置oov_标记,您应该能够处理看不见的单词 oov_token`: if given, it will be added to word_index and used to replace out-of-vocabulary words during text_to_sequence calls
oov_token`: if given, it will be added to word_index and used
to replace out-of-vocabulary words during text_to_sequence calls