tensorflow.python.framework.errors\u impl.InvalidArgumentError:索引[19]=30522不在[0,30522]中

tensorflow.python.framework.errors\u impl.InvalidArgumentError:索引[19]=30522不在[0,30522]中,python,huggingface-transformers,tensorflow-hub,Python,Huggingface Transformers,Tensorflow Hub,我正在做的是:使用拥抱脸及其标记器和keras张量流中心模型添加特殊标记 我在向模型添加特殊令牌时出现此错误: tensorflow.python.framework.errors_impl.InvalidArgumentError: indices[19]=30522 is not in [0, 30522)[[{{nodedncc/keras_layer/StatefulPartitionedCall/StatefulPartitionedCall/StatefulPartition

我正在做的是:使用拥抱脸及其标记器和keras张量流中心模型添加特殊标记

我在向模型添加特殊令牌时出现此错误:

   tensorflow.python.framework.errors_impl.InvalidArgumentError:  indices[19]=30522 is not in [0, 30522)[[{{nodedncc/keras_layer/StatefulPartitionedCall/StatefulPartitionedCall/StatefulPartitionedCall/bert_model/StatefulPartitionedCall/word_embeddings/Gather}]] [Op:__inference_train_function_43492]
虽然只有当我只连接了GPU?时,相同的代码在google colab中才能正常工作

我不知道在某些方面是否存在不兼容问题?为什么它只在colab中工作


回答:有一个错误,特殊的标记只在GPU上工作

请提供可复制的代码,以便我们可以帮助您。谢谢!检查这个:问题很清楚:当您使用标记器在模型中添加新词汇时,模型不会读取更新的词汇文件,除非您在colab中处于GPU模式。如果您需要,我可以共享roducable代码,但可能在两周后。请您提供可复制的代码,以便我们可以帮助您。谢谢!检查此项:问题很清楚:当您使用标记器在模型中添加新词汇表时,模型不会读取更新的词汇表文件,除非您在colab中处于GPU模式。如果您需要,我可以共享可复制的代码,但可能两周后