如何理解文本生成RNN模型的张量维度(TensorFlow官方示例之一)

如何理解文本生成RNN模型的张量维度(TensorFlow官方示例之一),tensorflow,recurrent-neural-network,Tensorflow,Recurrent Neural Network,看。 定义 batch_size = 1 vocab_size = 65 seq_length = 100 embedding_dim = 128 rnn_units = 256 def build_model(vocab_size, embedding_dim, rnn_units, batch_size): model = tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_dim, batc

看。 定义

batch_size = 1
vocab_size = 65
seq_length = 100
embedding_dim = 128
rnn_units = 256
def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
  model = tf.keras.Sequential([
    tf.keras.layers.Embedding(vocab_size, embedding_dim, batch_input_shape=[batch_size, seq_length]),
#OR tf.keras.layers.Embedding(vocab_size, embedding_dim, batch_input_shape=[batch_size, None]),
    tf.keras.layers.GRU(rnn_units, return_sequences=True, stateful=True, recurrent_initializer='glorot_uniform'),
    tf.keras.layers.Dense(vocab_size)
  ])
  return model

当seq_length=100时,GRU层的尺寸为[1 x 100 x 256],因此GRU层包含256个单元格,但有重复的100个GRU层?我们知道RNN层是递归的,是256个GRU单元之间的递归连接还是100个GRU层之间的递归连接

如果seq_length=None,TensorFlow可以复制任意数量的GRU层,或者只是递归地重用一个GRU层?GRU层需要多少内存

如果将模型切割为简单的全连接模型,则每层的单元数是否应

1-一个热->65(输入)->128(嵌入)->256(GRU)->65(密集)->65(输出)

输入/输出/单元数量之间的关系是什么