输入层是否应包含偏置神经元？

Question

我想知道:在多层前馈神经网络中,输入层是否应包含偏置神经元,或者这在隐藏层中是否有用？如果是这样,为什么？

谢谢你,
Tunnuz

Answer 1

不,输入层不需要连接到偏置神经元,因为从偏置神经元接收的任何激活都会被实际输入完全覆盖.

例如,假设一个试图解决经典XOR问题的网络,使用这种架构(其中标记为1的神经元是偏差):

要在输入(1,0)上运行此网络,您只需钳制激活神经元X1 = 1和X2 = 0.现在,如果X1或X2也从偏置接收到输入,那么无论如何都会覆盖该输入,从而使这种连接毫无意义.