小编Jos*_*h B的帖子

没有所有连接的神经网络层

神经网络密集层中的权重是一个 (n,d) 矩阵,我想强制其中一些权重始终为零。我有另一个 (n,d) 矩阵,它是其条目可以非零的掩码。这个想法是,该层不应该是真正密集的,而是缺少一些连接(即等于 0)。

在使用 PyTorch(或 Tensorflow)训练时如何实现这一目标?我不希望这些权重在训练时变得非零。

一种方法(如果不直接支持)是在每次训练迭代后将所需的条目清零。

python neural-network deep-learning tensorflow pytorch

5
推荐指数
1
解决办法
1284
查看次数