Machine learning 序列推理的深度学习

我想使用深度学习技术来执行比隐马尔可夫模型（这是一个浅层模型）更好的推理任务？我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型（HMM）？设置是半监督的。训练数据X（t），Y（t）是一个时间序列，具有显著的时间相关性。此外，还有大量未标记的数据，即简单的X（t）而没有Y（t）。在阅读了许多论文后，我缩小了对以下模型的研究范围->条件限制玻尔兹曼机器（Ilya Sustkever MS论文），并使用深层信念网络进行无监督预训练（或使用变分自动编码器进行预训练）。我是这个领域的新手，我想知道这些技术是否过时了

“我想知道什么是最先进的深度学习模型来取代隐马尔可夫模型（HMM）”

目前，基于RNN（递归神经网络）和LSTM（长-短期记忆）的DNN是最先进的。对于从命名实体识别（）、解析（）到机器翻译（）的许多排序问题，它们是最好的。 这些DNN也称为序列模型（例如，seq2seq，其中输入和输出是类似于机器翻译的序列）

“无监督的预培训”

预训练不再那么流行（对于有监督的ML问题），因为随着CPU数量的增加（以及成本的降低），使用随机重启和并行化可以获得相同的结果

[稍后添加以下内容]

最近的一篇论文（序列标记任务的深LSTM网络的最优超参数） Nils Reimers和Iryna Gurevych）对常见NLP任务的各种seq2seq进行了很好的比较：

---

绝对值得一读。

这个更高层次的问题属于；具体的编程问题也是如此。我还认为这是一个二三个问题@rahuls88，如果你想增加别人回答你问题的机会，那么把问题分成不同的帖子。希望这会有帮助。@Abhimanu..太好了…我本来打算尝试训练前训练，但现在我将尝试随机训练restarts@Abhimanu....what对于顺序到顺序机器模型来说，这是一个很好的参考？我读过亚历克斯·格雷夫斯的论文，这似乎是一个很好的介绍。但是它写在2007年，看起来很老了。从实现seq2seq的代码库开始。我想说Tensorflow是一个很好的代码库。并阅读相关论文（谷歌机器翻译论文是一个良好的开端）。非常感谢您的参考。这应该是一个很好的起点。然而，另一个问题是没有监督数据，即“隐藏序列X（t）”从未被揭示。序列到序列模型（或大多数深度学习算法）使用某种形式的梯度下降，以最小化“损失”。由于只有当算法能够访问标签时（在本例中为X（t）），才会产生丢失，因此我想我可能必须求助于HMM（Baum-Welch算法）来生成标签，然后训练LSTM。这是一个好主意吗？使用DNN的无监督序列学习是一个活跃的研究领域，与监督案例不同，目前还没有重大突破。从这里开始（Schmidhuber的团队首先提出了现在流行的LSTM）。对于半监督，您可以从基于LSTM/RNN/GRU的DNN中的任何标记数据开始，预测下一组未标记的示例，并在下一批的训练集中循环它们。以迭代方式执行此操作。