Python Pytorch在训练时减速
我正在训练一个演员-评论家强化学习算法，比如DDPG。然而，每一步的时间开始增加，然后保持在一个稳定的水平上，如下图所示Python Pytorch在训练时减速,python,pytorch,reinforcement-learning,Python,Pytorch,Reinforcement Learning,我正在训练一个演员-评论家强化学习算法，比如DDPG。然而，每一步的时间开始增加，然后保持在一个稳定的水平上，如下图所示 我首先认为我忘记了.detach（）/.item（）元素，我将其放入了replay缓冲区（大小为1e6的deque元素），因为它在一些其他stackoverflow文章中列出，但事实并非如此。以前是否有人遇到过类似的情况，可以告诉我在哪里查找原因？在最初的30000个训练步骤中，您的重播缓冲区是否已满？在最初的30000个训练步骤中，您的重播缓冲区是否已满？
我首先认为我忘记了.detach（）/.item（）元素，我将其放入了replay缓冲区（大小为1e6的deque元素），因为它在一些其他stackoverflow文章中列出，但事实并非如此。以前是否有人遇到过类似的情况，可以告诉我在哪里查找原因？在最初的30000个训练步骤中，您的重播缓冲区是否已满？在最初的30000个训练步骤中，您的重播缓冲区是否已满？