tf.nn.softmax\u cross\u entropy\u with\u logits如何计算tensorflow中的softmax交叉熵?

tf.nn.softmax\u cross\u entropy\u with\u logits如何计算tensorflow中的softmax交叉熵?,tensorflow,Tensorflow,tf.nn.softmax_cross_entropy_与_logits,文档中说它计算logits和标签之间的softmax cross entropy这意味着什么?它不是应用了交叉熵损失函数公式吗?为什么文档中说它会计算sofmax交叉熵?同样来自文档: 测量离散分类任务中的概率误差,其中类相互排斥(每个条目正好位于一个类中) Softmax分类使用交叉熵损失函数在离散类中对数据进行训练和分类。还有其他激活函数用于线性分类和NN中,如ReLU(校正线性单位)或Sigmoid;在这种情况下,将

tf.nn.softmax_cross_entropy_与_logits,文档中说它计算logits和标签之间的softmax cross entropy这意味着什么?它不是应用了交叉熵损失函数公式吗?为什么文档中说它会计算sofmax交叉熵?

同样来自文档:

测量离散分类任务中的概率误差,其中类相互排斥(每个条目正好位于一个类中)

Softmax
分类使用
交叉熵损失函数
在离散类中对数据进行训练和分类。还有其他激活函数用于线性分类和NN中,如
ReLU
(校正线性单位)或
Sigmoid
;在这种情况下,将使用
Softmax

激活函数是决策函数(实际将数据分类为类别的函数),交叉熵是用于计算训练期间的误差的函数(您可以使用其他方法来计算误差成本,如均方)。然而,交叉熵似乎是目前最好的计算方法

正如一些人指出的,
softmax交叉熵
是分类中一个常用的术语,便于记法

编辑


关于logits,这意味着它使用未标度的输入数据。换句话说,输入数据可能不是概率值(即,值可能大于1)。查看了解更多有关softmax与logits的交叉熵及其组件的信息。

我认为这意味着它将对logits应用softmax,然后根据标签计算交叉熵。这只是分类模型中一个常见主题的快捷方式。你应该使用带有交叉熵函数的softmax,因为它在数值上是稳定的。阅读更多相关内容。您的回答没有解释为什么该函数使用logits而不是softmax作为输入。OP没有问这个问题,他/她要求对该函数中的softmax进行解释根据@wontonimo的评论扩展我的答案您注意到“还有其他激活函数使用,如ReLU(校正线性单位)或用于线性分类和NN的Sigmoid;在本例中使用Softmax。“此评论具有误导性:Softmax与这些激活函数不可比较。@vin I说明存在其他激活函数。是的,尽管它们不相同,但它们是可比较的,因为它们都用于将通过网络接收的输入转换为特定范围,在
Softmax
的情况下,返回概率分布(和1,0和1之间的所有元素)。因此,它可以应用于分类算法或编码。这不是误导,除非你不太了解NNs和那些函数,但在这种情况下,OP不会问这个问题。