Tensorflow 初始化器的作用是什么？

我正在tensorflow&keras中试验递归神经网络层，我正在研究递归的_初始化器。我想更多地了解它对图层的影响，因此我创建了一个SimpleRN图层，如下所示：

rnn_layer = keras.layers.SimpleRNN(1, return_sequences=True, kernel_initializer = keras.initializers.ones, recurrent_initializer=keras.initializers.zeros, activation="linear")

运行此代码，可使经常性网络中的添加可见：

inp = np.zeros(shape=(1,1,20), dtype=np.float32)
for i in range(20):
    inp[0][0][:i] = 5
    #inp[0][0][i:] = 0
    
    print(f"i:{i} {rnn_layer(inp)}"'')

输出：

i:0 [[[0.]]]
i:1 [[[5.]]]
i:2 [[[10.]]]
i:3 [[[15.]]]
i:4 [[[20.]]]
i:5 [[[25.]]]
i:6 [[[30.]]]
i:7 [[[35.]]]
i:8 [[[40.]]]
i:9 [[[45.]]]
i:10 [[[50.]]]
i:11 [[[55.]]]
i:12 [[[60.]]]
i:13 [[[65.]]]
i:14 [[[70.]]]
i:15 [[[75.]]]
i:16 [[[80.]]]
i:17 [[[85.]]]
i:18 [[[90.]]]
i:19 [[[95.]]]

现在，我将递归_初始值设定项更改为不同的值，例如glorot_正态分布：

rnn_layer = keras.layers.SimpleRNN(1, return_sequences=True, kernel_initializer = keras.initializers.ones, recurrent_initializer=keras.initializers.glorot_normal(seed=0), activation="linear")

但我还是得到了同样的结果。我认为这可能取决于某种逻辑，Rnn缺少这种逻辑，但LSTM有这种逻辑，所以我用LSTM进行了尝试，但结果仍然相同。我想有一些关于循环的逻辑，我仍然怀念。有人能给我解释一下，reccurent_初始值设定者的目的是什么，以及它如何影响循环层吗

---

非常感谢

您对RNN层的输入是形状（1、1、20），这意味着每个批次有一个时间步，RNN的默认行为是在每个批次之间重置状态，因此您看不到周期性ops（周期性初始化器）的效果。 您必须更改输入序列的长度：

inp = np.ones(shape=(5 ,4,1), dtype=np.float32) # sequence length == 4
rnn_layer1 = tf.keras.layers.LSTM(1,return_state=True, return_sequences=False, 
           kernel_initializer = tf.keras.initializers.ones, 
           recurrent_initializer=tf.keras.initializers.zeros, activation="linear")
rnn_layer2 = tf.keras.layers.LSTM(1,return_state=True , return_sequences=False, 
           kernel_initializer = tf.keras.initializers.ones, 
           recurrent_initializer=tf.keras.initializers.glorot_normal(seed=0), 
           activation="linear")

first_sample = inp[0 : 1 , : ,:  ] #shape(1,4,1)
print(rnn_layer1(first_sample )
print(rnn_layer2(first_sample )

---

您对RNN层的输入是形状（1、1、20），这意味着每个批次有一个时间步，RNN的默认行为是在每个批次之间重置状态，因此您看不到周期性ops（周期性_初始值设定项）的效果。 您必须更改输入序列的长度：

inp = np.ones(shape=(5 ,4,1), dtype=np.float32) # sequence length == 4
rnn_layer1 = tf.keras.layers.LSTM(1,return_state=True, return_sequences=False, 
           kernel_initializer = tf.keras.initializers.ones, 
           recurrent_initializer=tf.keras.initializers.zeros, activation="linear")
rnn_layer2 = tf.keras.layers.LSTM(1,return_state=True , return_sequences=False, 
           kernel_initializer = tf.keras.initializers.ones, 
           recurrent_initializer=tf.keras.initializers.glorot_normal(seed=0), 
           activation="linear")

first_sample = inp[0 : 1 , : ,:  ] #shape(1,4,1)
print(rnn_layer1(first_sample )
print(rnn_layer2(first_sample )

---

我自己刚刚找到了解决方案，还是非常感谢您的解释！现在我将用它做更多的实验，以便更好地理解它，你的回答将帮助我很好地找到解决方案，仍然非常感谢你的解释！现在我将用它做更多的实验，以便更好地理解它，你的回答将对我很有帮助