Machine learning RNN的注意机制
我试图设计一个rnn模型来进行情绪分析。 因此RNN可以预测giventext的情绪（消极、中性、积极、混合）。该模型使用RNN对给定的单词序列进行迭代，并从最终隐藏状态预测情感。对于情绪分类任务，这种架构有哪些缺点？我将如何使用注意机制改进这种架构 例如： “这是一个大雪天。交通事故很多。至少孩子们看起来是这样。快乐。”Machine learning RNN的注意机制,machine-learning,neural-network,recurrent-neural-network,sentiment-analysis,attention-model,Machine Learning,Neural Network,Recurrent Neural Network,Sentiment Analysis,Attention Model,我试图设计一个rnn模型来进行情绪分析。 因此RNN可以预测giventext的情绪（消极、中性、积极、混合）。该模型使用RNN对给定的单词序列进行迭代，并从最终隐藏状态预测情感。对于情绪分类任务，这种架构有哪些缺点？我将如何使用注意机制改进这种架构 例如： “这是一个大雪天。交通事故很多。至少孩子们看起来是这样。快乐。” “昨天是糟糕的一天。我的闹钟睡过头了，更糟的是，我的狗吃了我的作业。至少我的狗看起来很开心。。。“是关于RNN中注意机制的使用，因此它可能对您有所帮助。但是我想知道你为什么不
“昨天是糟糕的一天。我的闹钟睡过头了，更糟的是，我的狗吃了我的作业。至少我的狗看起来很开心。。。“是关于RNN中注意机制的使用，因此它可能对您有所帮助。但是我想知道你为什么不在自然语言理解上使用最新的SOTA来完成这项任务？谢谢你的文章。它是有用的。我以前从未试过伯特。它的优点是什么？我现在也读了这篇文章，我不明白这个架构是否有注意机制。有点困惑。你能解释一下架构吗？伯特是一个基于变压器的架构。Transformer优于RNNs的主要优点是并行性，因此计算时间大大减少。您可以阅读更多关于变压器或变压器的信息。我想可能会对您有所帮助。是关于注意机制在RNN中的使用，因此它可能对您有所帮助。但是我想知道你为什么不在自然语言理解上使用最新的SOTA来完成这项任务？谢谢你的文章。它是有用的。我以前从未试过伯特。它的优点是什么？我现在也读了这篇文章，我不明白这个架构是否有注意机制。有点困惑。你能解释一下架构吗？伯特是一个基于变压器的架构。Transformer优于RNNs的主要优点是并行性，因此计算时间大大减少。您可以阅读更多关于变压器或变压器的信息。我想可能会对您有所帮助。