pytorch中conv的默认权重初始化程序是什么？

Question

问题如何在PyTorch中初始化权重？显示如何初始化权重Pytorch.然而,什么是默认的初始重量Conv和Dense在Pytorch？Pytorch使用什么发行版？

Answer 1

每个pytorch层实现该方法reset_parameters被称为在该层初始化结束初始化权重。您可以在此处找到各层的实现。

对于在pytorch中被称为的致密层linear，权重被统一初始化

stdv = 1. / math.sqrt(self.weight.size(1))
self.weight.data.uniform_(-stdv, stdv)

self.weight.size(1)输入的数量在哪里。这样做是为了通过在训练开始时将其归一化来保持每一层分布的方差相对相似。您可以在此处阅读更详细的说明。

对于卷积层，初始化基本上是相同的。您只需将通道数乘以内核大小即可计算出输入数。