神经网络中的反向传播和前向传播

Question

我正在尝试设计一个简单的神经网络，但我面临一些问题。当我使用 ReLU 时，我的输出一直收敛到 0.5，当我使用 sigmoid 函数时，我的输出一直收敛到 0.7。请建议我：

1. 还有其他初始化权重和偏差的方法吗？我正在随机初始化它。

2. 我是否需要在每次前向传递后执行反向传播，或者我应该采用平均操作错误并在 epoch 结束时对其进行更新？

3. 我需要在输入层使用偏差吗？

我是神经网络的新手。请帮忙。

Answer 1

还有其他初始化权重和偏差的方法吗？我正在随机初始化它。

是的，随机初始化权重是很常见的。但是，有多种选择方差的技术，例如 Xavier 初始化、He 初始化等（请参阅此讨论）。

偏差有点不同。与权重不同，用零初始化它们是完全可以的。在基于 ReLu 的网络中，通常使用略微正数来确保大多数激活是正数，至少在初始时并反向传播错误。但随机初始化通常也能工作。

我是否需要在每次前向传递后执行反向传播，或者我应该采用平均操作错误并在 epoch 结束时对其进行更新？

在经典算法中，是的。这个想法是迭代地评估和更新网络。但是，如果这就是您所描述的，您可以为小批量而不是单个实例执行这两种操作，并且它的工作效率更高。但是在一次向后传球之前先做几次向前传球是不常见的，它只会减慢训练速度。

我需要在输入层使用偏差吗？

偏差与权重一起出现在线性层中。数据本身无偏差地传递到第一层。