直通估算器（STE）的概念

Question

我在许多与神经网络相关的论文（例如this和this）中直接看过估计器（STE）。但是我不明白这个概念。我想知道是否有人可以解释STE或让我参考简单的资源？

Answer 1

直通估算器是一种估算神经网络中阈值操作的梯度的方法。该阈值可以像下面的函数一样简单，

如我们所见，此阈值函数的导数将为0，并且在反向传播期间，网络将不会学习任何内容，因为它会获得0的梯度并且权重不会更新。

直通估算器的概念是，您将传入梯度设置为等于其出局梯度的阈值函数，而无需考虑阈值函数本身的导数。在您引用的本文的结果（图2）中，这已证明表现良好。