如何计算CNN的权重数？

Question

考虑到用于将图像分为两类的卷积神经网络，我们如何计算权重数：

• 输入：100x100 灰度图像。
• 第 1 层：具有 60 个 7x7 卷积滤波器的卷积层（步幅 = 1，有效填充）。
• 第 2 层：具有 100 个 5x5 卷积滤波器的卷积层（步幅 = 1，有效填充）。
• 第 3 层：最大池化层，将第 2 层下采样 4 倍（例如，从 500x500 到 250x250）
• 第 4 层：具有 250 个单位的密集层
• 第 5 层：具有 200 个单位的密集层
• 第 6 层：单输出单元

假设每一层都存在偏差。而且，池化层有一个权重（类似于AlexNet）

这个网络有多少权重？

一些 Keras 代码

import keras
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Conv2D, MaxPooling2D

model = Sequential()

# Layer 1
model.add(Conv2D(60, (7, 7), input_shape = (100, 100, 1), padding="same", activation="relu"))

# Layer 2
model.add(Conv2D(100, (5, 5), padding="same", activation="relu"))

# Layer 3
model.add(MaxPooling2D(pool_size=(2, 2)))

# Layer 4
model.add(Dense(250))

# Layer 5
model.add(Dense(200))

model.summary()

Answer 1

TL;DR - 适用于 TensorFlow + Keras

使用Sequential.summary-链接到文档。

用法示例：

from tensorflow.keras.models import *

model = Sequential([
    # Your architecture here
]);

model.summary()

您的架构的输出是：

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 94, 94, 60)        3000      
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 90, 90, 100)       150100    
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 45, 45, 100)       0         
_________________________________________________________________
flatten (Flatten)            (None, 202500)            0         
_________________________________________________________________
dense (Dense)                (None, 250)               50625250  
_________________________________________________________________
dense_1 (Dense)              (None, 200)               50200     
_________________________________________________________________
dense_2 (Dense)              (None, 1)                 201       
=================================================================
Total params: 50,828,751
Trainable params: 50,828,751
Non-trainable params: 0
_________________________________________________________________

那是 50,828,751 个参数。

解释

2D 卷积层中的权重数

对于具有

• num_filters 过滤器，
• 过滤器尺寸为 filter_size * filter_size * num_channels，
• 和每个过滤器的偏置参数

权重数为： (num_filters * filter_size * filter_size * num_channels) + num_filters

例如：您的神经网络中的第 1 层有

• 60个过滤器
• 和 7 * 7 * 1 的过滤器大小。（注意通道数 (1) 来自输入图像。）

其中的权重数为：(60 * 7 * 7 * 1) + 60，即3000。

密集层中的权重数

对于 Dense 层具有

• num_units 神经元，
• num_inputs 在它之前的层中的神经元，
• 和每个神经元的偏置参数

权重数为： (num_units * num_inputs) + num_units

例如，您的神经网络中的第 5 层有

• 200 个神经元
• 而在它之前的层——第 4 层——有 250 个神经元。

其中的权重数为200 * 250，即50200。