Neural network 有1个或10个输出神经元更好吗？
最好是： 1个输出神经元，输出0到15之间的值，这将是我的最终值 或 16个输出神经元，输出一个介于0和1之间的值，表示该值的可能性Neural network 有1个或10个输出神经元更好吗？,neural-network,Neural Network,最好是： 1个输出神经元，输出0到15之间的值，这将是我的最终值 或 16个输出神经元，输出一个介于0和1之间的值，表示该值的可能性 示例：我们想通过输入学生学习的小时数和智商来确定学生的分数（从0到15）。最好每个班级都有一个神经元（二进制分类除外）。这允许在现有设计的基础上进行更好的设计。一个简单的例子是创建一个识别数字0到9的网络，然后将设计从0到F更改为十六进制；DR：我认为你的问题最好是作为一个回归任务，所以使用一个ouptut神经元，但两者都值得尝试。 与非常具体的答案相比，我不太喜
示例：我们想通过输入学生学习的小时数和智商来确定学生的分数（从0到15）。最好每个班级都有一个神经元（二进制分类除外）。这允许在现有设计的基础上进行更好的设计。一个简单的例子是创建一个识别数字0到9的网络，然后将设计从0到F更改为十六进制；DR：我认为你的问题最好是作为一个回归任务，所以使用一个ouptut神经元，但两者都值得尝试。 与非常具体的答案相比，我不太喜欢你的问题的广泛性，因此我将更深入地解释正确的表述应该是什么 在开始之前，我们应该澄清经典人工神经网络执行的两大任务：
显然，您可以看到预测数值只需要一个输出值。还请注意，这仅适用于此特定示例。可能还有其他回归用例，在这些用例中，您希望您的输出具有0个以上的维度（即单个点），而不是1D或2D
例如，一个常见的例子是，我们可以很有趣地将其作为一个分类问题进行分析。提供的链接显示了这两个方面的示例。在这种情况下，您显然必须对每个像素进行回归（或分类），这将导致多个输出神经元 现在，为了回答您的实际问题，我想进一步阐述一下为什么一个热编码输出（即具有与类一样多的通道的输出）比单个神经元更适合用于分类任务。 既然我们可以说一个神经元就足以预测类值，那么我们就必须理解为什么以这种方式进入特定的类是有问题的 主要问题之一是变量的类型。在您的案例中，存在一个明确的顺序（15优于14优于13，等等），甚至还有一个区间顺序（至少在纸面上），因为15和13之间的差异与14和12之间的差异相同，尽管一些学者可能会反对；-）
因此，您的目标是一个区间变量，因此在理论上可以用来对其进行回归。稍后再谈。但是考虑例如描述图像是否描述猫（0）、狗（1）或汽车（2）的变量。现在，可以说，我们甚至不能对变量进行排序（是汽车>狗，还是汽车<狗？），也不能说猫和狗之间存在“相等的距离”（相似，因为两者都是动物？），或者猫和汽车之间存在“相等的距离”（可以说彼此更不同）。因此，很难解释网络的单个输出值。假设输入图像的输出结果为1.4。
现在这还是一只狗，还是更接近一辆汽车？但是，如果该图像实际描绘的是一辆 另一方面，有3个单独的神经元反映每一类的不同概率可以消除这个问题，因为每个神经元都可以描述相对“不受干扰”的概率 如何减少功能损失 另一个问题是如何在前面的示例中通过网络反向传播的问题。传统上，分类任务使用（CE），而回归使用均方误差（MSE）作为度量。这两者本质上是不同的，尤其是CE和lead的结合导致了非常大的差异
可以论证的是，您可以应用舍入从1.4到简明的类值（在这种情况下为1），然后使用CE损失，但这可能会导致数值不稳定；另一方面，MSE永远不会给你一个“清晰的类值”，而是一个回归估计
最后，问题归结为：我有分类问题还是回归问题。在你的情况下，我认为这两种方法都可以相当好地工作。（分类）网络可能无法识别不同输出类别之间的相关性；i、 e.对于14班的学生来说，得分为3分或更低的概率基本为零。另一方面，由于其他原因，回归可能无法准确预测结果。
如果您有时间，我强烈鼓励您尝试这两种方法。现在，考虑到目标的间隔类型，我个人会进行回归任务，在您训练网络并能够做出准确预测后使用舍入。16个神经元会更好，这允许更好的设计。谢谢。还有一个问题：你的设计是什么意思？一个简单的例子可能是你正在创建一个神经网络来识别数字（0-9）。你可以有10个输出神经元。然后，您需要扩展十六进制的网络。现在您需要（0-F）中的16个类。将10改为16会更容易。请记住，这与流行的分类任务（如MNIST）大不相同，在MNIST中，不同的类之间几乎没有关系。另一方面，这个任务非常明确地要求使用区间类型，因此回归在这里绝对有意义。在这种情况下，“改变设计”也不太可能发生，除非你改变你的成绩等级。不过，我认为再培训只是f的一个方面