Keras-如何获取非标准化的logit而不是概率

Question

我正在Keras中创建一个模型，并想计算自己的指标（困惑度）。这需要使用非标准化的概率/对数。但是，keras模型仅返回softmax概率：

model = Sequential()
model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('softmax'))
optimizer = RMSprop(lr=self.lr)

model.compile(optimizer=optimizer, 
loss='sparse_categorical_crossentropy')

Keras常见问题解答提供了一种在此处获取中间层输出的解决方案。这里给出了另一个解决方案。但是，这些答案将中间输出存储在其他模型中，这不是我所需要的。我想将logits用于我的自定义指标。自定义指标应包含在model.compile()函数中，以便在训练过程中对其进行评估和显示。因此，我不需要Dense在不同模型中分隔层的输出，而将其作为原始模型的一部分。

简而言之，我的问题是：

• 当定义所概述自定义指标在这里使用def custom_metric(y_true, y_pred)，并在y_pred含有logits或标准化的概率？

• 如果它包含归一化的概率，如何获得未归一化的概率，即该层输出的logits Dense？

Answer 1

我想我已经找到了解决方案

首先，我将激活层更改为线性，以便接收@loannis Nasios概述的logit。

其次，为了仍然获得sparse_categorical_crossentropy损失函数，我定义了自己的损失函数，将from_logits参数设置为true。

model.add(embedding_layer)
model.add(LSTM(n_hidden, return_sequences=False))
model.add(Dropout(dropout_keep_prob))
model.add(Dense(vocab_size))
model.add(Activation('linear'))
optimizer = RMSprop(lr=self.lr)


def my_sparse_categorical_crossentropy(y_true, y_pred):
    return K.sparse_categorical_crossentropy(y_true, y_pred, from_logits=True)

model.compile(optimizer=optimizer,loss=my_sparse_categorical_crossentropy)