Deep learning 计算RNN的有效批处理？_Deep Learning_Lstm_Recurrent Neural Network

Deep learning 计算RNN的有效批处理？

deep-learning

Deep learning 计算RNN的有效批处理？,deep-learning,lstm,recurrent-neural-network,Deep Learning,Lstm,Recurrent Neural Network,我是RNNs的新手对固定长度输入进行批处理是一个简单的概念，但对需要时间步长的可变长度输入进行批处理让我感到困惑。假设我们正在训练角色级RNN来完成一些任务，我们选择批量大小为4，如下图所示 t = 0 1 2 3 4 5 6 7 8 f o r g e t f u l t h e r u n b a d ^ ^ ^ ^ ^ ^ 75% idle/wasted compute passed this time step? 在本例

我是RNNs的新手

对固定长度输入进行批处理是一个简单的概念，但对需要时间步长的可变长度输入进行批处理让我感到困惑。假设我们正在训练角色级RNN来完成一些任务，我们选择批量大小为4，如下图所示

t = 0 1 2 3 4 5 6 7 8 
    f o r g e t f u l 
    t h e 
    r u n 
    b a d  
          ^ ^ ^ ^ ^ ^ 75% idle/wasted compute passed this time step?

在本例中，第一批

t=0->2

的计算以100%的容量运行，但在

t>=3

时，批处理的3/4现在已完成，因此，在

健忘

完成之前，我们将处于空闲/浪费的计算状态。当然，这将导致严重的瓶颈

为RNN批量处理可变长度数据的标准做法是什么？或者，我是否遗漏了一些更大的概念

多谢各位