Tensorflow中的Dropconnect

len*_*ung 7 machine-learning neural-network tensorflow

我在TensorFlow中寻找所谓的"DropConnect".我知道在Tensorflow神经网络中如何使用"dropout",但我无法弄清楚哪种方法适用于"DropConnect",或者如果它不可用,有人可以建议我如何实现吗?
无论如何,我已经尝试过"辍学","体重衰退"和"提早停止",但我仍然遭受过度拟合.TensorFlow中是否有更好的过度拟合解决方案?

Ree*_*sum 5

DropConnect将网络中随机选择的权重子集设置为零.您可以通过在训练期间将每层中的权重分数视为零来实现它,并在反向传播期间更新所有权重.

此外,您还可以使用经典技术以避免过度拟合.

  1. 收集更多数据,或通过各种数据转换方法创建它.
  2. 减少功能的数量.
  3. 降低模型的复杂性.