小编x3t*_*t2h的帖子

最大池化层的反向传播:多个最大值

我目前正在用普通的 numpy 实现一个 CNN,并且有一个关于最大池层反向传播的特殊情况的简短问题:

虽然很明显非最大值的梯度消失了,但我不确定切片的几个条目等于最大值的情况。严格来说,函数在这个“点”上不应该是可微的。但是,我认为可以从相应的次微分中选择一个次梯度(类似于在 x=0 处为 Relu 函数选择次梯度“0”)。

因此,我想知道简单地形成关于最大值之一的梯度并将剩余的最大值视为非最大值是否就足够了。

如果是这种情况,是否建议随机选择最大值以避免偏差,还是总是选择第一个最大值?

python backpropagation deep-learning conv-neural-network max-pooling

9
推荐指数
1
解决办法
837
查看次数