Fatal编程技术网
  • neural-network/
  • Neural network 字符级和令牌级的PyTorch批处理

Neural network 字符级和令牌级的PyTorch批处理

neural-network nlp pytorch

Neural network 字符级和令牌级的PyTorch批处理,neural-network,nlp,pytorch,word-embedding,torchtext,Neural Network,Nlp,Pytorch,Word Embedding,Torchtext,我试图训练一个NLP模型，它使用字符级和令牌级LSTM来创建和连接嵌入。我遇到的问题是对数据进行批处理，使每个句子在标记和字符批处理中都位于同一位置 例如，如果我有“Hello there”和“see you soon”两个阶段，那么这两个批次都会按顺序存储它们（显然使用不同的张量） 提前感谢您能否更具体地说明问题所在？如果使用固定的批处理大小，则应该可以。

我试图训练一个NLP模型，它使用字符级和令牌级LSTM来创建和连接嵌入。我遇到的问题是对数据进行批处理，使每个句子在标记和字符批处理中都位于同一位置

例如，如果我有“Hello there”和“see you soon”两个阶段，那么这两个批次都会按顺序存储它们（显然使用不同的张量）

提前感谢

您能否更具体地说明问题所在？如果使用固定的批处理大小，则应该可以。