Machine learning 长序列上的RNN训练_Machine Learning_Tensorflow_Recurrent Neural Network_Lstm_Cntk

Machine learning 长序列上的RNN训练

machine-learning tensorflow

Machine learning 长序列上的RNN训练,machine-learning,tensorflow,recurrent-neural-network,lstm,cntk,Machine Learning,Tensorflow,Recurrent Neural Network,Lstm,Cntk,我正在培训LSTM网络，我希望了解长序列、O（1k）长度或更长序列的最佳培训实践。选择小批量的好方法是什么？标签流行率的偏差会如何影响这种选择？（在我的场景中，积极因素很少）。是否值得努力重新平衡我的数据？谢谢。你可能想重新平衡，所以他们是50/50。否则，它将向某个类倾斜至于批量大小，我会尽可能大，以适应内存我不确定LSTM是否能够学习O（1k）上的依赖关系，但值得一试。如果你想要超长的依赖关系，你可以考虑做一些类似wavenet的事情

我正在培训LSTM网络，我希望了解长序列、O（1k）长度或更长序列的最佳培训实践。选择小批量的好方法是什么？标签流行率的偏差会如何影响这种选择？（在我的场景中，积极因素很少）。是否值得努力重新平衡我的数据？

谢谢。

你可能想重新平衡，所以他们是50/50。否则，它将向某个类倾斜

至于批量大小，我会尽可能大，以适应内存

我不确定LSTM是否能够学习O（1k）上的依赖关系，但值得一试。如果你想要超长的依赖关系，你可以考虑做一些类似wavenet的事情