Deep learning 为改进模型，可能对RNN进行哪些修改？

我想用RNN模型/LSTM改进MNIST手写模型。。是否有人尝试过对RNN进行修改。。如果是这样的话，我可以用哪些不同的方法来改进模型。请建议你可以做一些叫做定时采样的事情。RNN和一般生成模型的一个主要问题是，在列车运行期间，它们没有根据自己的预测进行训练。相反，他们接受的是金标签培训。在推理期间，没有可用的黄金标签，模型由它自己的代提供。这是模型以前没有做过的事情，如果模型在生成阶段开始时出错，则更可能出错

其思想是允许模型使用衰减参数逐渐根据其自身的输出进行训练，该参数增加了预测令牌被馈入RNN而不是金标签的概率

---

你可以在这篇文章中读到它：

谢谢你的指导。。我会尝试同样的方法，你也应该研究一下。