Python 在Tensorflow中,损失可以是多个维度的张量。这是什么意思?
标量损耗对我来说非常合理,这通常是标准NN体系结构中作为损耗函数提供的。但是,有一项规定可以使您的损失不是标量的,例如,我输入了一个大小损失([batch_size,]),它没有抛出错误 内部是否将损失汇总为总和/平均值?我对源代码的理解不是很清楚Python 在Tensorflow中,损失可以是多个维度的张量。这是什么意思?,python,tensorflow,Python,Tensorflow,标量损耗对我来说非常合理,这通常是标准NN体系结构中作为损耗函数提供的。但是,有一项规定可以使您的损失不是标量的,例如,我输入了一个大小损失([batch_size,]),它没有抛出错误 内部是否将损失汇总为总和/平均值?我对源代码的理解不是很清楚 非常感谢您的帮助。谢谢。:) 假设您正在尝试对MNIST数据集进行分类。在这种情况下,你有10个输出神经元。因此,在通过它传播训练样本后,您将获得10次激活。必须通过每个神经元的成本函数(比如交叉熵)将其与期望输出进行比较 你在这里要做的是,在所有神
非常感谢您的帮助。谢谢。:) 假设您正在尝试对MNIST数据集进行分类。在这种情况下,你有10个输出神经元。因此,在通过它传播训练样本后,您将获得10次激活。必须通过每个神经元的成本函数(比如交叉熵)将其与期望输出进行比较 你在这里要做的是,在所有神经元中最小化这些代价。在MNIST示例中,您必须执行以下操作
xent = tf.reduce_mean(
tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y), name="xent")
您可以看到,所有神经元的成本都计算为平均值(reduce_-mean)