Machine learning 你应该为回归任务规范化神经网络的输出吗？

我制作了一个CNN，它将一个信号作为输入，并输出模拟中使用的参数来创建该信号。我听说过回归任务是神经网络。但模型试图预测的变量具有非常不同的标准偏差，比如一个变量总是在[1x10^-20，1x10-24]范围内，而另一个几乎总是在[8，16]范围内。我的问题是，由于所有损失函数首先考虑目标和实际输出值之间的差异，这种差异自然会随着该输出变量的std而扩大，网络损失是否主要取决于大std输出变量的准确性，而不是小std输出变量的准确性？此外，非标准化输出是否会阻碍训练过程，因为网络可以通过猜测接近其平均值的值，获得std非常低的输出变量的低损失

---

如果是这样的话，为什么我在互联网上找不到很多关于或建议将输出标准化的内容？对于获得可靠的损耗值来说，这似乎非常重要。

您不在乎获得的参数有多接近。你关心你的模型有多接近。解决方案是一个多层面的问题。你们用参数的函数来近似它。得到参数空间中每个点的近似值。您不关心参数的值，即轴上的比例；您只需要调查每个的相关值范围。但反馈是基于输出和输入的。标准化是不可伸缩的。您可以单独规范化输入/输出维度，以确保确定差异时的相对准确性。（当然是在方程式中介绍了这一点？）对不起，让我澄清一下，当我说“参数”时，我不是指权重，我是指在模拟中用于创建输入信号的参数，它们是模型试图预测的值。此外，我还假设我可以规范化输入/输出维度，但a在web上找到了不止一个位置，表示您不需要对回归问题（）进行规范化。我在问这是不是真的，如果是，为什么？我是说你的意思。你只能测量表型（信号），但你想猜测基因型（参数）。您有一个带有内存（权重）和输入（可能转换的信号）的oracle（NN）输出猜测（可转换为参数值），我们根据oracle的功能对值进行规范化。对于输出，将oracle的范围映射到问题范围，并可能补偿oracle如何平衡这些范围。用于输入，以便oracle能够处理它，也许是为了补偿oracle如何平衡其维度。您必须根据具体情况进行分析/设计。（稍后再讨论）嗯，那么你说输出标准化是正常的？谢谢你的帮助，这也是一个有趣的类比。我想我以前没听说过有人把神经网络称为甲骨文。哈哈。但是你希望做什么规范化呢？将输出的相关信号与另一个信号进行比较；输出在其他方面是不相关的。此外，如果您的神经网络不能处理输出上的极值或极端不同的值，您希望如何处理它？也许您可以规范化输入，使其及其参数保持在范围内；但一般来说，你必须做出一个能处理极端情况的神经网络。因此，在这一点上，请澄清您的问题在于NN，从参数到信号的函数，NN i/o规范化和学习迭代。您不关心参数的接近程度。你关心你的模型有多接近。解决方案是一个多层面的问题。你们用参数的函数来近似它。得到参数空间中每个点的近似值。您不关心参数的值，即轴上的比例；您只需要调查每个的相关值范围。但反馈是基于输出和输入的。标准化是不可伸缩的。您可以单独规范化输入/输出维度，以确保确定差异时的相对准确性。（当然是在方程式中介绍了这一点？）对不起，让我澄清一下，当我说“参数”时，我不是指权重，我是指在模拟中用于创建输入信号的参数，它们是模型试图预测的值。此外，我还假设我可以规范化输入/输出维度，但a在web上找到了不止一个位置，表示您不需要对回归问题（）进行规范化。我在问这是不是真的，如果是，为什么？我是说你的意思。你只能测量表型（信号），但你想猜测基因型（参数）。您有一个带有内存（权重）和输入（可能转换的信号）的oracle（NN）输出猜测（可转换为参数值），我们根据oracle的功能对值进行规范化。对于输出，将oracle的范围映射到问题范围，并可能补偿oracle如何平衡这些范围。用于输入，以便oracle能够处理它，也许是为了补偿oracle如何平衡其维度。您必须根据具体情况进行分析/设计。（稍后再讨论）嗯，那么你说输出标准化是正常的？谢谢你的帮助，这也是一个有趣的类比。我想我以前没听说过有人把神经网络称为甲骨文。哈哈。但是你希望做什么规范化呢？将输出的相关信号与另一个信号进行比较；输出在其他方面是不相关的。此外，如果您的神经网络不能处理输出上的极值或极端不同的值，您希望如何处理它？也许您可以规范化输入，使其及其参数保持在范围内；但一般来说，你必须做出一个能处理极端情况的神经网络。因此，在这一点上，请澄清您的NN问题是什么，从参数到信号的函数，NN i/o规范化和学习迭代。