如何在 Keras 中创建稀疏层（即并非所有神经元都相互连接）？

Question

在 Keras 中，如果神经网络中有两个密集层，那么第一层的所有神经元都连接到第二层的所有神经元。我可以根据权重的某些标准从密集层中删除一些连接，从而得到一个稀疏层，其中第一层中的所有神经元都没有连接到第二层中的所有神经元吗？

我试图将低于阈值的权重减少到零。但这并没有达到从网络中删除/移除权重连接的目的，因为在我重新训练网络后，由于梯度下降，被迫为零的权重重新获得了一些值。

Answer 1

你尝试过添加dropout吗？这会在执行更新时随机将层中的某些权重子集重置为 0，听起来就像您想要的那样。这是对抗过度拟合的许多不错的方法之一。