Python Keras-如何获得非标准化的Logit而不是概率_Python_Machine Learning_Keras_Neural Network_Nlp

Python Keras-如何获得非标准化的Logit而不是概率

python machine-learning keras neural-network nlp

Python Keras-如何获得非标准化的Logit而不是概率,python,machine-learning,keras,neural-network,nlp,Python,Machine Learning,Keras,Neural Network,Nlp,我正在Keras中创建一个模型，并希望计算我自己的度量（困惑）。这需要使用非标准化概率/逻辑。但是，keras模型仅返回softmax概率： model = Sequential() model.add(embedding_layer) model.add(LSTM(n_hidden, return_sequences=False)) model.add(Dropout(dropout_keep_prob)) model.add(Dense(vocab_size)) model.add(Acti

我正在Keras中创建一个模型，并希望计算我自己的度量（困惑）。这需要使用非标准化概率/逻辑。但是，keras模型仅返回softmax概率：

model = Sequential()
model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('softmax'))
optimizer = RMSprop(lr=self.lr)

model.compile(optimizer=optimizer, 
loss='sparse_categorical_crossentropy')

Keras FAQ有一个解决方案，可以获得中间层的输出。给出了另一种解决方案。但是，这些答案将中间输出存储在不同的模型中，这不是我需要的。我想对我的自定义指标使用logits。自定义度量应该包含在

model.compile（）

函数中，以便在培训期间对其进行评估和显示。因此，我不需要在不同的模型中分离的

稠密

层的输出，而是作为原始模型的一部分

简言之，我的问题是：

使用
```
def custom_metric（y_true，y_pred）
```
定义自定义度量时，
```
y_pred
```
是否包含logit或标准化概率
如果它包含规范化概率，我如何获得非规范化概率，即
```
Dense
```
层输出的logits

尝试将上次激活从softmax更改为线性

model = Sequential()
model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('linear'))
optimizer = RMSprop(lr=self.lr)

model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy')

您可以创建一个用于训练的模型，另一个用于预测

对于培训，您可以使用功能性API模型，只需获取现有模型的一部分，将激活放在一边：

model = yourExistingModelWithSoftmax 
modelForTraining = Model(model.input,model.layers[-2].output)

#use your loss function in this model:
modelForTraining.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy, metrics=[my_custom_metric])

由于您将一个模型作为另一个模型的一部分，因此它们将共享相同的权重

当您想要训练时，请使用
```
modelForTraining.fit（）
```
要预测概率，请使用
```
model.predict（）
```