Pet*_*ang 5 deep-learning tensorflow
我正在尝试将TensorFlow用于我的深度学习项目.
当我使用Momentum Gradient Descent时,如何设置重量成本强度？
(此公式中的λ .)
重量成本/衰减的术语不是TensorFlow中优化器的一部分.
但是,通过在权重上使用L2损失向成本函数添加额外的惩罚,很容易包括:
C = <your initial cost function>
l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in tf.trainable_variables()])
C = C + lambda * l2_loss
tf.nn.l2_loss(v) 链接很简单0.5 * tf.reduce_sum(v * v),单个权重的梯度将等于lambda * w,这应该等于你的链接方程.
| 归档时间： |
|
| 查看次数： |
2220 次 |
| 最近记录： |