Python 在创建ELMo嵌入时,我们可以设置句子的最大长度吗?

Python 在创建ELMo嵌入时,我们可以设置句子的最大长度吗?,python,embedding,elmo,Python,Embedding,Elmo,我正在从大量的句子中创建ELMO嵌入,为了防止记忆问题,我在10000个句子中传递句子,然后将它们连接起来,但问题是每10000个,它设置10000个句子集中句子的最大值,而其他句子的最大值则不同。我想在创建ELMo嵌入时设置句子修复的最大长度。如有任何建议,将不胜感激 elmo = hub.Module("https://tfhub.dev/google/elmo/3", trainable=True) def ELMoEmbedding(x): embeddi

我正在从大量的句子中创建ELMO嵌入,为了防止记忆问题,我在10000个句子中传递句子,然后将它们连接起来,但问题是每10000个,它设置10000个句子集中句子的最大值,而其他句子的最大值则不同。我想在创建ELMo嵌入时设置句子修复的最大长度。如有任何建议,将不胜感激

elmo = hub.Module("https://tfhub.dev/google/elmo/3", trainable=True)


def ELMoEmbedding(x):
    embeddingss=elmo(tf.squeeze(tf.cast(x, tf.string)), signature="default", as_dict=True)["elmo"]
    with tf.Session() as sess:
      sess.run(tf.global_variables_initializer())
      sess.run(tf.tables_initializer())
      return sess.run(embeddingss)


list_train = [X_train[i:i+10000] for i in range(0,len(X_train),10000)]
elmo_train = [ELMoEmbedding(x) for x in list_train]
假设前10000个句子的形状为(10000,851024),而第二组句子的形状为(100001051024)

他们有没有办法将这个维度固定在所有句子的最大长度上?假设在我的例子中是126