Neural network 如果除了方向之外,大小也很重要,那么如何用神经网络对标量值进行建模

Neural network 如果除了方向之外,大小也很重要,那么如何用神经网络对标量值进行建模,neural-network,activation-function,Neural Network,Activation Function,假设您希望根据一些输入数据预测温度变化。温度变化是平均值为零的正或负标量。如果方向很重要,就可以在输出层使用tanh作为激活函数。但是对于三角洲温度来说,预测变化的幅度也很重要,而不仅仅是信号 您将如何对此输出进行建模。Tanh似乎不是一个好的选择,因为它给出的值介于-1和1之间。比如说,温度变化有一个高斯分布,或者其他一些奇怪的分布,所以在tanh(+-0)的中心准线性区域徘徊对于神经网络来说是很难学习的。我担心信号是好的,但输出的幅度是无用的 让网络输出一个长度为N的热向量如何,将此输出向量

假设您希望根据一些输入数据预测温度变化。温度变化是平均值为零的正或负标量。如果方向很重要,就可以在输出层使用tanh作为激活函数。但是对于三角洲温度来说,预测变化的幅度也很重要,而不仅仅是信号

您将如何对此输出进行建模。Tanh似乎不是一个好的选择,因为它给出的值介于-1和1之间。比如说,温度变化有一个高斯分布,或者其他一些奇怪的分布,所以在tanh(+-0)的中心准线性区域徘徊对于神经网络来说是很难学习的。我担心信号是好的,但输出的幅度是无用的

让网络输出一个长度为N的热向量如何,将此输出向量的argmax视为预定义窗口上的温度变化。假设窗口为-30-+30度,使用N=60长的一个热向量,如果argmax(输出)=45,则表示预测约为15度


实际上,我不确定如何搜索此主题。

您可以使用线性输出,这可能会对您遇到的问题类型表现良好。如果线性输出的性能不好,您也可以尝试使用带缩放因子的tanh输出,因此输出介于-scalingFactor和+scalingFactor之间。为什么不将其视为回归问题?