Machine learning 为什么我的神经网络在大数据集上训练时表现不佳,尽管在小数据集上工作良好?

Machine learning 为什么我的神经网络在大数据集上训练时表现不佳,尽管在小数据集上工作良好?,machine-learning,neural-network,recurrent-neural-network,rnn,Machine Learning,Neural Network,Recurrent Neural Network,Rnn,我有一个RNN,我正在训练它生成文本。当在一个小数据集上进行训练时,它表现得非常好,尽管它确实能从训练数据中记住文本块,这表明它的拟合过度。然而,在一个大数据集上,它的性能非常差,只输出了几个有意义的单词,然后陷入了相同的三个或四个单词的循环中。我知道过度拟合可能是一个问题,但与在小数据集上训练时相当好的性能相比,在大数据集上训练时,这肯定不会导致如此糟糕的性能。关于是什么导致了这些结果,你有什么想法吗?我认为如果你还没有添加长-短期记忆,那么添加长-短期记忆是个好主意。请参阅链接以供参考。 我

我有一个RNN,我正在训练它生成文本。当在一个小数据集上进行训练时,它表现得非常好,尽管它确实能从训练数据中记住文本块,这表明它的拟合过度。然而,在一个大数据集上,它的性能非常差,只输出了几个有意义的单词,然后陷入了相同的三个或四个单词的循环中。我知道过度拟合可能是一个问题,但与在小数据集上训练时相当好的性能相比,在大数据集上训练时,这肯定不会导致如此糟糕的性能。关于是什么导致了这些结果,你有什么想法吗?

我认为如果你还没有添加长-短期记忆,那么添加长-短期记忆是个好主意。请参阅链接以供参考。

我认为你的问题在于效率。它不能很好地扩展…@proeviz你所说的效率是什么意思?你能分享你的RNN架构吗?