了解每层的 Keras 权重矩阵

Question

我正在尝试使用 Keras 中的全连接层架构（在 Keras 中称为 Dense 类）进行二元分类。

这是我创建的神经网络架构的设计：

 from keras.models import Sequential
        from keras.layers import Dense, Dropout, Activation
        from keras.optimizers import SGD

        self.model = Sequential()
        # Dense(64) is a fully-connected layer with 64 hidden units.
        # in the first layer, you must specify the expected input data shape:
        # here, 20-dimensional vectors.
        self.model.add(Dense(32, activation='relu', input_dim=self.x_train_std.shape[1]))
        #self.model.add(Dropout(0.5))
        #self.model.add(Dense(64, activation='relu'))
        #self.model.add(Dropout(0.5))
        self.model.add(Dense(1, activation='sigmoid'))

所以我有一个 17000,2000 的输入矩阵，其中 17K 个样本具有 2k 个特征。

我只保留了一个包含 32 个单元或神经元的隐藏层。

我的输出层是一个具有 sigmoid 激活函数的单神经元。

现在，当我尝试检查第一个隐藏层的权重时，我希望它的大小为 (2000,32)，其中每一行用于每个输入，每一列用于该层中的每个单元。

这是 Keras 架构设置的配置：

dl_1.model.get_config()
Out[70]:
[{'class_name': 'Dense',
  'config': {'activation': 'relu',
   'activity_regularizer': None,
   'batch_input_shape': (None, 2000),
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'dtype': 'float32',
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_1',
   'trainable': True,
   'units': 32,
   'use_bias': True}},
 {'class_name': 'Dense',
  'config': {'activation': 'sigmoid',
   'activity_regularizer': None,
   'bias_constraint': None,
   'bias_initializer': {'class_name': 'Zeros', 'config': {}},
   'bias_regularizer': None,
   'kernel_constraint': None,
   'kernel_initializer': {'class_name': 'VarianceScaling',
    'config': {'distribution': 'uniform',
     'mode': 'fan_avg',
     'scale': 1.0,
     'seed': None}},
   'kernel_regularizer': None,
   'name': 'dense_2',
   'trainable': True,
   'units': 1,
   'use_bias': True}}]

查看第一个隐藏层的维度：

dl_1.model.get_layer(name="dense_1").input_shape

(None, 2000)

输出尺寸：

    dl_1.model.get_layer(name="dense_1").output_shape
Out[99]:
(None, 32)

所以它似乎确实给出了预期的 (2000,32)。

但是，当我尝试检查该层的权重矩阵时

dl_1.model.get_layer(name="dense_1").get_weights()[0]

它给了我一个 numpy 数组列表，列表长度为 2000，数组长度为 32，如下所示：

array([[ 0.0484077 , -0.02401097, -0.03099879, -0.02864455, -0.01511723,
         0.01386002,  0.01127522,  0.00844895, -0.02420873,  0.04466306,
         0.02965425,  0.0410631 ,  0.02397312,  0.0038885 ,  0.04846045,
         0.00653989, -0.05288456, -0.00325713,  0.0445733 ,  0.04594839,
         0.02839083,  0.0445912 , -0.0140048 , -0.01198476,  0.05259909,
        -0.03752745, -0.01337494, -0.02162734, -0.01522341,  0.01208428,
         0.01122886,  0.01496441],
       [ 0.05225918,  0.04231448,  0.01388102, -0.03310467, -0.05293509,
         0.01130457,  0.03127011, -0.04250741, -0.04212657, -0.01595866,
        -0.002456  ,  0.01112743,  0.0150629 ,  0.03072598, -0.04061607,
        -0.01131565, -0.02259113,  0.00907649, -0.04728404, -0.00909081,
         0.03182121, -0.04608218, -0.04411709, -0.03561752,  0.04686243,
        -0.04555761,  0.04087613,  0.04380137,  0.02079088, -0.02390963,
        -0.0164928 , -0.01228274],

我不确定我是否理解这一点。它应该是 32 X2000 而不是 2000 X 32。所以我期望因为我有 32 个单位，每个单位有 2000 个权重，列表将是 32 个元素长，每个元素应该是 2000 维 numpy 数组。但它反过来了。我不确定这是为什么？

权重与隐藏层而不是输入层相关联，所以如果我认为他们为输入层显示它是没有意义的。

知道这是怎么回事吗？

Answer 1

您正在创建一个Dense()包含 32 个单位的图层。Dense层是（如您在代码中的注释所示）“完全连接的层”，这意味着数据中的每个特征都连接到每一层。您的数据元素中还有 2000 个特征。

因此，您获得的数组有 2000 个元素，每个特征一个，每个元素有 32 个权重，每个隐藏层一个权重，因此您得到的形状。

从keras 文档中我们可以看到示例：

model = Sequential()
model.add(Dense(32, input_shape=(16,)))
# now the model will take as input arrays of shape (*, 16)
# and output arrays of shape (*, 32)

# after the first layer, you don't need to specify
# the size of the input anymore:
model.add(Dense(32))

在你的情况下*是 2000，所以你的输出权重应该是(2000,32)你得到的形状。这似乎是 Keras 用于其输出的约定。无论哪种方式，您都可以将数据转换为其他形状，因为(N, M)数组具有与数组相同数量的元素(M, N)。