在神经网络中实现偏差的正确方法

Question

我可以创建一个神经网络,我只需要对偏见实现进行澄清.哪种方式更好:B1, B2, .. Bn从权重矩阵中为每个层实现Bias矩阵,在单独的矩阵中,或者通过1在前一层输出(此层的输入)中添加a 来在权重矩阵中包含偏差.在图像中,我问这个实现是否:

或者这个实现:

是最好的.谢谢

Answer 1

通过将 1 添加到前一层输出（该层的输入）中，将偏差包含在权重矩阵中

这似乎是这里实现的：使用 Python 进行机器学习：使用 MNIST 数据集训练和测试神经网络，在“具有多个隐藏层的网络”段落中。

我不知道这是否是最好的方法。（也许不相关，但仍然：在提到的示例代码中，它与 sigmoid 一起工作，但当我用 ReLU 替换它时失败）。