Neural network 为什么Graves LSTM单元有4+;7=深度学习中的11个重量4j?

Neural network 为什么Graves LSTM单元有4+;7=深度学习中的11个重量4j?,neural-network,lstm,deeplearning4j,Neural Network,Lstm,Deeplearning4j,为什么Graves LSTM层单元有11个重量,它们的用途是什么 下面给出的示例可以生成weigth列表: MultiLayerNetwork model = new MultiLayerNetwork(new NeuralNetConfiguration.Builder() .list() .layer(0, new GravesLSTM.Builder() .nIn(1) .nOut(1)

为什么Graves LSTM层单元有11个重量,它们的用途是什么

下面给出的示例可以生成weigth列表:

MultiLayerNetwork model = new MultiLayerNetwork(new NeuralNetConfiguration.Builder()
        .list()
        .layer(0, new GravesLSTM.Builder()
                .nIn(1)
                .nOut(1)
                .activation("sigmoid")
                .weightInit(WeightInit.ZERO)
                .build()
                )
        .build());
model.init();

System.out.println("Weigths: " + model.paramTable());
out:

体重:

{0_W=[0.00,0.00,0.00,0.00],0_RW=[0.00,0.00,0.00,0.00, 0.00,0.00,0.00],0_b=[0.00,1.00,0.00,0.00]}

(11重+4偏压)

相反,这里是使用DenseLayer而不是GravelTM的输出:

重量:{0_W=0.00,0_b=0.00}

(1个权重+1个偏差,这很清楚。)


请加入Gitter上的DL4J社区。那里有很多人可以回答你的问题:我们已经在社区中回答了这个问题。额外的权重与LSTM拥有的额外门(例如:忘记门)有关。请加入Gitter上的DL4J社区。那里有很多人可以回答你的问题:我们已经在社区中回答了这个问题。额外重量与LSTM具有的额外闸门有关(例如:忘记闸门)