Machine learning T5型号最大序列长度512限制_Machine Learning_Nlp_Huggingface Transformers

Machine learning T5型号最大序列长度512限制

machine-learning nlp

Machine learning T5型号最大序列长度512限制,machine-learning,nlp,huggingface-transformers,Machine Learning,Nlp,Huggingface Transformers,如果运行T5的stsb功能 input_id=tokenizer.encode（'stsb语句1:'+sent1+'.语句2:'+sent2+'，返回_tensors='tf'））如果sent1和sent2这两个输入句子的长度都大于512，那么标记器会收缩整个输入长度还是单个句子非常感谢,

如果运行T5的stsb功能

input_id=tokenizer.encode（'stsb语句1:'+sent1+'.语句2:'+sent2+'，返回_tensors='tf'））

如果sent1和sent2这两个输入句子的长度都大于512，那么标记器会收缩整个输入长度还是单个句子

非常感谢,