Keras标记器如何处理看不见的数据?

Keras标记器如何处理看不见的数据?,keras,nlp,Keras,Nlp,假设我已经用一些词汇训练了一个标记器,那么keras标记器在遇到词汇训练数据中不存在的单词时会做什么呢?它只是忽略它吗?根据文档,如果设置oov_标记,您应该能够处理看不见的单词 oov_token`: if given, it will be added to word_index and used to replace out-of-vocabulary words during text_to_sequence calls

假设我已经用一些词汇训练了一个标记器,那么keras标记器在遇到词汇训练数据中不存在的单词时会做什么呢?它只是忽略它吗?

根据文档,如果设置oov_标记,您应该能够处理看不见的单词

oov_token`: if given, it will be added to word_index and used
            to replace out-of-vocabulary words during text_to_sequence calls