每个神经元的神经网络偏差

Question

我一直在关注Andrew NG在神经网络上的视频。在这些视频中，他没有将偏见与每个神经元联系在一起。取而代之的是，他在计算出每层的激活后在每层的开头添加一个偏差单位，并将该偏差与计算结果一起用于计算下一层的激活（正向传播）。

然而，在机器学习和喜欢视频的一些其他博客这个，还有与每个神经元相关的偏差。这种差异是什么以及为什么产生什么？它的含义是什么？

Answer 1

两种方法都代表相同的偏差概念。对于每个单元（不包括输入节点），您计算前一层（在前馈网络的情况下）向量加上标量偏差值的权重和激活的点积的激活函数值：

 (w * a) + b

在 Andrew Ng 中，这个值是使用矢量化技巧计算的，在该技巧中，您将激活与指定的偏置常数（通常为 1）连接起来，并完成这项工作（因为这个常数对于不同的节点有自己的权重 - 所以这与拥有另一个每个节点的偏差值）。