CNN中完全连接层的输出是多少?

cer*_*rou 7 neural-network caffe conv-neural-network

例如,在Caffe中,应该在内部产品(完全连接)层中定义num_output.这个输出数是什么意思?

Ano*_*bhu 15

考虑将完全连接层作为简单的矩阵 - 矩阵乘法1xNNxM生成维度的结果1xM.

让我们考虑一下,我们将维度数据56x56x3作为完全连接层的输入传递.让重量的维度是未知的NxM.考虑一下,我们设定num_ouput = 4096.

用于计算这些数据,完全连接层重塑尺寸的输入数据56x56x3作为1xN,1x(56x56x3) = 1x9408.

从而,

N = 9408

M = num_output = 4096

实际上我们最终做了一个(1x9408)matrix - (9408x4096) matrix乘法.

如果将num_output值更改为say 100,则最终会进行(1x9408)matrix - (9408x100) matrix乘法运算.

因此,增加该num_ouput值将增加模型必须学习的权重参数的数量.