神经网络密集层中的权重是一个 (n,d) 矩阵,我想强制其中一些权重始终为零。我有另一个 (n,d) 矩阵,它是其条目可以非零的掩码。这个想法是,该层不应该是真正密集的,而是缺少一些连接(即等于 0)。
在使用 PyTorch(或 Tensorflow)训练时如何实现这一目标?我不希望这些权重在训练时变得非零。
一种方法(如果不直接支持)是在每次训练迭代后将所需的条目清零。
python neural-network deep-learning tensorflow pytorch
deep-learning ×1
neural-network ×1
python ×1
pytorch ×1
tensorflow ×1