Deep learning 注意力机制真的是注意力还是只是再次回顾记忆？

在阅读注意机制时，我对注意这个词感到困惑。这与我们的注意力性质是否与它通常的定义相同？

例如，在机器翻译任务中，直觉上这相当于输出一个翻译的单词，然后返回文本的所有内部记忆，以决定下一步生成哪个单词。这似乎是一种浪费，根本不是人类正在做的事情。事实上，它更类似于内存访问，而不是注意力，在我看来，这有点用词不当（下面将详细介绍）。然而，这并没有阻止注意力机制变得非常流行，并在许多任务中表现良好。

例如，在机器翻译任务中，直觉上这相当于输出一个翻译的单词，然后返回文本的所有内部记忆，以决定下一步生成哪个单词。这似乎是一种浪费，根本不是人类正在做的事情。事实上，它更类似于内存访问，而不是注意力，在我看来，这有点用词不当（下面将详细介绍）。尽管如此，这并没有阻止注意力机制变得非常流行，并在许多任务中表现良好。

在IMHO中介绍的注意力与我们大脑用作注意力机制的东西非常相似

我们大脑中有一种叫做LGN的东西，负责过滤掉手头任务中不必要的信息。例如，如果我开始寻找我的钥匙，我的大脑会较少关注那些颜色不是银或金的物体（希望如此）。现在，我还没有意识到人类大脑更高层次的注意力机制。然而，有一点是清楚的，信息在注意力之前通过每一层，并以神经活动的形式表现出来

---

当您输入世界当前状态的人工模型表示时，信息将被表示为张量，同样，注意力允许您看到做出最佳决策所需的内容（类似于查找关键点）。

注意，如IMHO中所述，这与我们的大脑作为注意力机制的作用非常相似

我们大脑中有一种叫做LGN的东西，负责过滤掉手头任务中不必要的信息。例如，如果我开始寻找我的钥匙，我的大脑会较少关注那些颜色不是银或金的物体（希望如此）。现在，我还没有意识到人类大脑更高层次的注意力机制。然而，有一点是清楚的，信息在注意力之前通过每一层，并以神经活动的形式表现出来

---

当你输入世界当前状态的人工模型表示时，信息将被表示为张量，同样，注意力可以让你看到做出最佳决策所需的信息（类似于寻找关键点）。

NMT中使用的注意力与大脑中“感官注意”的工作方式无关。充其量，它可以被定义为一种“响应选择”机制。前者是一种外源性注意（尽管它也可能是内源性的），而后者则纯粹是内源性的——来自更高层次的联想记忆网络的反馈指导下一个反应的选择（在这种情况下，选择单词）。因此，引起它的注意是一个错误的选择。关于注意力的认知/神经科学/心理学研究已有100年的历史。NMT中使用的注意力与“感官注意”在大脑中的工作方式无关。充其量，它可以被定义为一种“响应选择”机制。前者是一种外源性注意（尽管它也可能是内源性的），而后者则纯粹是内源性的——来自更高层次的联想记忆网络的反馈指导下一个反应的选择（在这种情况下，选择单词）。因此，引起它的注意是一个错误的选择。关于注意力的认知/神经科学/心理学研究已有100年的历史。