Keras如何处理分类交叉熵的log(0)?

Keras如何处理分类交叉熵的log(0)?,keras,cross-entropy,loss-function,Keras,Cross Entropy,Loss Function,我有一个在MNIST上训练的神经网络,它的损失函数是分类交叉熵 出于理论目的,我的输出层是ReLu。所以很多 其输出为0 现在我偶然发现了以下问题: 为什么我没有得到很多错误,因为肯定会有很多错误 输出中的零,我将对其进行日志记录 为了方便起见,这里给出了分类交叉熵的公式 中没有记录它,它似乎取决于后端,但我很确定它们不会生成logy,而是log(y+epsilon),其中epsilon是一个小常量,以防止log(0)。您确定对输出层使用ReLu吗?也许您实际上使用的是通常的softmax功能,

我有一个在MNIST上训练的神经网络,它的损失函数是分类交叉熵

出于理论目的,我的输出层是ReLu。所以很多 其输出为0

现在我偶然发现了以下问题:

为什么我没有得到很多错误,因为肯定会有很多错误 输出中的零,我将对其进行日志记录

为了方便起见,这里给出了分类交叉熵的公式


中没有记录它,它似乎取决于后端,但我很确定它们不会生成logy,而是log(y+epsilon),其中epsilon是一个小常量,以防止log(0)。

您确定对输出层使用ReLu吗?也许您实际上使用的是通常的softmax功能,而没有意识到这一点。如果你仍然需要帮助,我建议你发布你的代码。我再也找不到确切的代码了,但我确信,我在输出层使用了ReLU。整个事情对我来说仍然是个谜。但显然不是紧急情况:)