Neural network 神经图灵机中的存储器初始化和寻址

我不清楚NTM如何初始化其内存以支持基于内容的余弦距离寻址。很明显，初始内存单元值不能为零，但即使将它们初始化为非零值（例如1.0），所有单元看起来都一样，内存寻址机制将在内存单元上产生均匀分布。移位机制只会移动此均匀分布，产生相同的均匀分布，锐化可能会锐化某些值，主要是由于噪声

因此，我不明白他们描述的记忆除了一直在同一个地方写同样的东西（如果你不考虑一些噪音的话）之外，还能如何使用

---

我是否遗漏了一些东西，有人能给我一些关于内存初始化的建议吗？

我想我已经找到了答案。我查看了插值以及它如何与移位相互作用

内存单元上的分布是内存头状态的一部分。插值在以前的分布和基于内容的余弦相似性生成的新分布之间进行选择。然后轮班人员可以决定将头部向下或向上移动一个单元格（或保持原样）

假设内存为空，初始寻址分布集中在第一个内存单元周围。基于内容的机制将产生均匀分布，但插值机制可以决定忽略该均匀分布，采用初始分布（聚焦于第一个单元），然后移位可以决定移动到下一个单元

---

因此，大容量内存填充（将整个输入序列写入内存）将忽略基于内容的部分。

此外，随机内存初始化对我来说似乎是个坏主意，并添加一些固定（可训练的）内存寻址偏差。