Python Keras有注意层吗?

Python Keras有注意层吗?,python,tensorflow,keras,lstm,attention-model,Python,Tensorflow,Keras,Lstm,Attention Model,我将为LSTM神经网络实现注意机制。我使用了这个层()但是它增加了错误!也许这是因为我的数据集,但类似的研究在注意层上获得了更高的准确率。请给我介绍另一种在Keras中实现注意的简单方法好吗?您可以使用TensorFlow Keras模块tf.Keras.layers.attention。也就是说,假设您使用的是TensorFlow 2.0 您可以在这里阅读更多内容:注意力不一定总能提高分数。但是,当处理越来越长的输入时,它们非常方便 如果您使用的是LSTM,我不建议您使用tf.keras.la

我将为LSTM神经网络实现注意机制。我使用了这个层()但是它增加了错误!也许这是因为我的数据集,但类似的研究在注意层上获得了更高的准确率。请给我介绍另一种在Keras中实现注意的简单方法好吗?

您可以使用TensorFlow Keras模块
tf.Keras.layers.attention
。也就是说,假设您使用的是TensorFlow 2.0


您可以在这里阅读更多内容:

注意力不一定总能提高分数。但是,当处理越来越长的输入时,它们非常方便

如果您使用的是LSTM,我不建议您使用tf.keras.layers.Attention,因为这个类更适合CNN、DNN


只需几行代码,您就可以添加自己的自定义注意层,如所示:

谢谢Ekaba。我不清楚这个链接中提供的示例。您是否有在LSTM神经网络中实现的示例?这里有一个简单的方法来增加注意: