Deep learning 单位为Keras的softmax输出的有效损耗?

Deep learning 单位为Keras的softmax输出的有效损耗?,deep-learning,keras,softmax,Deep Learning,Keras,Softmax,当类的数量很大(例如,语言模型中的单词数量)时,softmax交叉熵损失计算非常昂贵。在这个世界上似乎没有有效的选择。有没有一种方法可以在Keras中有效地计算出这一点,或者我应该自己实现它,以及如何实现?Softmax不是一个损失函数。如果您使用TensorFlow作为后端,大概可以在训练期间使用近似的Softmax->交叉熵。或者将其作为重新实现的起点。@MatiasValdenegro我使用softmax损耗作为softmax输出损耗的缩短,例如交叉熵损耗。@AllenLavoie谢谢,这

当类的数量很大(例如,语言模型中的单词数量)时,softmax交叉熵损失计算非常昂贵。在这个世界上似乎没有有效的选择。有没有一种方法可以在Keras中有效地计算出这一点,或者我应该自己实现它,以及如何实现?

Softmax不是一个损失函数。如果您使用TensorFlow作为后端,大概可以在训练期间使用近似的Softmax->交叉熵。或者将其作为重新实现的起点。@MatiasValdenegro我使用softmax损耗作为softmax输出损耗的缩短,例如交叉熵损耗。@AllenLavoie谢谢,这是一个选项。。。我很惊讶Keras不能以更直接的方式支持有效的损失。Softmax不是一个损失函数。如果你使用TensorFlow作为后端,大概你可以在训练期间使用近似的Softmax->交叉熵。或者将其作为重新实现的起点。@MatiasValdenegro我使用softmax损耗作为softmax输出损耗的缩短,例如交叉熵损耗。@AllenLavoie谢谢,这是一个选项。。。我感到非常惊讶的是,Keras没有以更直接的方式支持有效损失。