Deep learning 在递归神经网络的背景下,';以某物为条件';?

Deep learning 在递归神经网络的背景下,';以某物为条件';?,deep-learning,recurrent-neural-network,language-model,Deep Learning,Recurrent Neural Network,Language Model,在递归神经网络(RNN)中,例如本文:,它说RNN语言模型是以引言第3段第7行的输入序列为条件的 那么,RNN中条件作用的概念是什么呢?RNN中顺序对顺序学习中的“条件作用”是计算获得以输入序列为条件的输出序列的概率的过程,或p(y | x)。该网络用于对这种条件概率映射进行建模 一种加速顺序对顺序学习训练的技术被称为教师强迫,在这种技术中,相邻时间步中神经元的隐藏状态被解耦(见图)。地面真值标签y(t-1)与输入序列元素x(t-1)一起用作后续时间步中神经元的输入。教师强制消除了时间反向传播

在递归神经网络(RNN)中,例如本文:,它说RNN语言模型是以引言第3段第7行的输入序列为条件的

那么,RNN中条件作用的概念是什么呢?

RNN中顺序对顺序学习中的“条件作用”是计算获得以输入序列为条件的输出序列的概率的过程,或
p(y | x)
。该网络用于对这种条件概率映射进行建模

一种加速顺序对顺序学习训练的技术被称为教师强迫,在这种技术中,相邻时间步中神经元的隐藏状态被解耦(见图)。地面真值标签y(t-1)与输入序列元素x(t-1)一起用作后续时间步中神经元的输入。教师强制消除了时间反向传播的需要,并使用较少的计算资源并行化培训。不幸的是,一些实证结果表明,与“普通”RNN相比,采用教师强迫的RNN对泛化错误的鲁棒性较差

编辑:图像还包括教师在序列中强制序列RNN近似的条件概率分布