Python 张力板原木中的峰值-PPO2稳定基线

Python3.7-Tensorflow 1.14.0

我正在运行一个自定义的健身房环境，使用MlpLstmPolicy作为策略

训练完模型后，我看了一下张力板原木。 在“输入”和“损耗”选项卡上，您可以清楚地看到图表上的峰值

这是电影的特写镜头

有人知道为什么会发生这种情况吗？是因为数据集，因为超参数，还是因为环境

我知道这是一个非常广泛的问题，希望有人能帮助

---

如果我能提供更具体的信息，请告诉我。我想有这么多信息，真的很难说出发生了什么。在过去的几个月里，我还在训练一些避碰模型。根据我的经验，我认为在训练中出现尖峰是正常的。我认为唯一重要的是，在平滑之后，总体回报应该增加。在我的例子中，我正在获得尖峰，因为我正在为一些代理并行培训多个代理。手头的任务非常困难，他们通常不会积累太多奖励，而且最初的探索概率很高，因此这可能是您获得尖峰的原因。

我同意这肯定是一种情况。不幸的是，还有很多。也许原始的问题海报可以添加更多的细节，因为数值不稳定性的发生有很多原因。Utsav给出了一个常见的原因，这很有帮助。另一个可能是数值收敛速度对输入数据范围的敏感性，等等。