如何在Keras中添加正交正则化？

Question

我想用CNN来规范CNN的层次

|(W^T * W - I)|

我怎么能在Keras那样做？

Answer 1

来自文档：

任何接受权重矩阵并返回损失贡献张量的函数都可以用作正则化器

这是实现的示例：

from keras import backend as K

def l1_reg(weight_matrix):
    return 0.01 * K.sum(K.abs(weight_matrix))

model.add(Dense(64, input_dim=64,
                kernel_regularizer=l1_reg)

您的帖子的损失将是：

from keras import backend as K
def fro_norm(w):
    return K.sqrt(K.sum(K.square(K.abs(w))))

def cust_reg(w):
    m = K.dot(K.transpose(w), w) - np.eye(w.shape)
    return fro_norm(m)

这是一个最小的例子：

import numpy as np
from keras import backend as K
from keras.models import Sequential
from keras.layers import Dense, Activation

X = np.random.randn(100, 100)
y = np.random.randint(2, size=(100, 1))

model = Sequential()

# apply regularization here. applies regularization to the 
# output (activation) of the layer
model.add(Dense(32, input_shape=(100,), 
                activity_regularizer=fro_norm))
model.add(Dense(1))
model.add(Activation('softmax'))

model.compile(loss="binary_crossentropy",
              optimizer='sgd',
              metrics=['accuracy'])

model.fit(X, y, epochs=1, batch_size=32)

正如 @Marcin 的评论所暗示的那样，下面的代码不会工作 LA.norm 不会工作，因为正则化器必须返回一个张量，LA.norm()但不能。

def orth_norm(w)
    m = K.dot(k.transpose(w), w) - np.eye(w.shape)
    return LA.norm(m, 'fro')

from keras import backend as K

import numpy as np

def orth_norm(w)
    m = K.dot(k.transpose(w), w) - np.eye(w.shape)
    return LA.norm(m, 'fro')

Keras 正则化器

常模弗罗伯尼亚斯