Deep learning 如何理解；单个神经元是激活空间的基本方向；？

在最近的一篇关于可视化卷积神经网络的内部表示的文章中，有以下段落（粗体是我的）：

如果神经元不是理解神经网络的正确方式，那是什么？在现实生活中，神经元的组合一起工作来表示神经网络中的图像单个神经元是激活空间的基本方向，不清楚这些方向是否比任何其他方向更特殊

Szegedy等人[11]发现，随机方向似乎与基本方向一样有意义。最近，Bau，Zhou等人[12]发现基本方向比随机方向更容易解释。我们的经验与这两个结果大体一致；我们发现，随机方向通常看起来是可解释的，但其解释率低于基本方向

我觉得他们在谈论线性代数表示法，但很难理解一个神经元如何表示基向量

现在我有两个主要问题：

一个神经元只有一个标量输出，那么这怎么可能是一个基本方向呢

什么是激活空间？如何直观地思考它

---

我觉得理解这些可以拓宽我对神经网络内部几何结构的直觉。有人能帮我解释一下，或者给我指出从线性代数的角度理解神经网络内部过程的方向吗？

我的直觉是：如果你有一个隐藏层，例如10个神经元，那么这10个神经元的激活跨越10维空间。“单个神经元是激活空间的基本方向”意思是“10个状态，其中一个神经元为1，其他神经元为0，这10个状态是跨越这个“激活空间”的单位向量”。但是很明显，任何10个向量的独立集合都跨越相同的空间。由于一个完全连接的层基本上只是前一层输出的矩阵积，所以没有明显的理由说明这些单位向量在任何方面都是特殊的

如果你试图想象这个隐藏层代表什么，这一点很重要：谁说“神经元3”或“神经元3处于活动状态，其他神经元为0”的状态甚至代表了什么？同样可能的是，“神经元2，3和5是1，神经元7是-2，其他的是0”有视觉表现，但单位向量没有

---

理想情况下，你会希望随机向量代表不同的概念，因为这样一个包含n个神经元的隐藏层可以代表O（p^n）个概念（对于某些p>1），而不是n个单位向量的n个概念，你的直觉是有效的。很好的描述+假设我们有3个神经元，这意味着我们的激活空间是实数的3D空间。然后，每个神经元的输出只代表这个空间的维度，因此我们可以说它代表一个方向，比如x，y和z。现在这是有道理的。因为每个神经元的输出都经过加权和累加，这实际上是一个线性组合。那么我们可以说所有这些单独的方向都会跨越激活空间。我们也可以说这些方向是正交的吗？在这个意义上，两个可能的激活向量的点积为零。考虑不同激活的正交性有实际意义吗？我不认为正交性会带来实际的不同。它通常不会在非线性激活层中“存活”。