假设我们在分类层之前有一个包含 kN 个神经元的特征表示。现在,分类层生成大小为 N 且仅具有局部连接的输出层。
也就是说,输出处的第 k 个神经元是使用从 k N 到 k N+N 位置处的输入神经元计算的。因此,输入层中的每 N 个位置(步长为 N)在输出处给出单个神经元值。
这是在 Keras 中使用 conv1dlocal 完成的,但是,PyTorch 似乎没有这个。
标准线性层中的权重矩阵:kNxN = kN^2 个变量
带局部线性层的权重矩阵:(kx1)@N次=NK个变量
pytorch ×1