如何在keras中实现自定义指标？

Question

我收到此错误:

sum()得到一个意外的关键字参数'out'

当我运行此代码时:

import pandas as pd, numpy as np
import keras
from keras.layers.core import Dense, Activation
from keras.models import Sequential

def AUC(y_true,y_pred):
    not_y_pred=np.logical_not(y_pred)
    y_int1=y_true*y_pred
    y_int0=np.logical_not(y_true)*not_y_pred
    TP=np.sum(y_pred*y_int1)
    FP=np.sum(y_pred)-TP
    TN=np.sum(not_y_pred*y_int0)
    FN=np.sum(not_y_pred)-TN
    TPR=np.float(TP)/(TP+FN)
    FPR=np.float(FP)/(FP+TN)
    return((1+TPR-FPR)/2)

# Input datasets

train_df = pd.DataFrame(np.random.rand(91,1000))
train_df.iloc[:,-2]=(train_df.iloc[:,-2]>0.8)*1


model = Sequential()
model.add(Dense(output_dim=60, input_dim=91, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.add(Dense(output_dim=1, input_dim=60, init="glorot_uniform"))
model.add(Activation("sigmoid"))

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=[AUC])


train_df.iloc[:,-1]=np.ones(train_df.shape[0]) #bias
X=train_df.iloc[:,:-1].values
Y=train_df.iloc[:,-1].values
print X.shape,Y.shape

model.fit(X, Y, batch_size=50,show_accuracy = False, verbose = 1)

除了在批处理上执行循环和编辑源代码之外,是否可以实现自定义指标？

Answer 1

在这里,我正在回答OP的主题问题,而不是他的确切问题.我正在这样做,因为当我讨论主题问题时问题出现在顶部.

您可以通过两种方式实现自定义指标.

1. 如Keras纪录片中所述.

   import keras.backend as K
   
   def mean_pred(y_true, y_pred):
       return K.mean(y_pred)
   
   model.compile(optimizer='sgd',
             loss='binary_crossentropy',
             metrics=['accuracy', mean_pred])
   

   但在这里你必须记住MarcinMożejko的回答中提到的y_true并且y_pred是张量.因此,为了正确计算您需要使用keras.backend功能的指标.请看这个SO问题详情如何计算Keras的F1 Macro？

2. 或者你可以像Keras GH问题中提到的那样以hacky方式实现它.为此你需要使用callbacks参数model.fit.

   import keras as keras
   import numpy as np
   from keras.optimizers import SGD
   from sklearn.metrics import roc_auc_score
   
   model = keras.models.Sequential()
   # ...
   sgd = SGD(lr=0.001, momentum=0.9)
   model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy'])
   
   
   class Metrics(keras.callbacks.Callback):
       def on_train_begin(self, logs={}):
           self._data = []
   
       def on_epoch_end(self, batch, logs={}):
           X_val, y_val = self.validation_data[0], self.validation_data[1]
           y_predict = np.asarray(model.predict(X_val))
   
           y_val = np.argmax(y_val, axis=1)
           y_predict = np.argmax(y_predict, axis=1)
   
           self._data.append({
               'val_rocauc': roc_auc_score(y_val, y_predict),
           })
           return
   
       def get_data(self):
           return self._data
   
   metrics = Metrics()
   history = model.fit(X_train, y_train, epochs=100, validation_data=(X_val, y_val), callbacks=[metrics])
   metrics.get_data()
   

Answer 2

此代码不起作用,因为y_pred并且y_true不是numpy数组,而是Theano或Tensor Flow张量.这就是你得到这个错误的原因.

您可以定义自定义指标,但必须记住它的参数是那些Tensors - 而不是numpy数组.