标签: bias-neuron

我正在尝试实现简单的 NEAT。我从各种来源了解到，有 4 种类型的“节点”：输入神经元、隐藏神经元、输出神经元和所谓的偏置神经元。我不知道哪个过程可能会产生偏置神经元，这在本文第 16 页中有描述。

我知道在突变时可能会创建新的神经元，但它需要两个神经元之间存在现有的连接，该连接将被这个新的神经元分裂（基于已经提到的论文，第 10 页）。然而，偏置神经元没有“输入”连接，因此显然不能以上述方式创建。那么，具体来说，NEAT 是如何创建偏置神经元的呢？

我正在尝试设计一个简单的神经网络，但我面临一些问题。当我使用 ReLU 时，我的输出一直收敛到 0.5，当我使用 sigmoid 函数时，我的输出一直收敛到 0.7。请建议我：

1. 还有其他初始化权重和偏差的方法吗？我正在随机初始化它。

2. 我是否需要在每次前向传递后执行反向传播，或者我应该采用平均操作错误并在 epoch 结束时对其进行更新？

3. 我需要在输入层使用偏差吗？

我是神经网络的新手。请帮忙。

如果不存在偏差,通过原点的线应该能够线性分离两个数据集,这不是真的吗？

但最受欢迎的答案是这个 - >> 问题说

y                             
^                              
|  - + \\  +                   
| -    +\\ +   +               
| - -    \\ +                  
| -  -  + \\  +                
---------------------> x       
    stuck like this            

我很困惑.你是说上图中的原点是在x轴和y轴中间的某个位置吗？有人可以帮助我澄清一下吗？

是否应该将动量添加到网络中每个节点的偏差项中,或者最好仅添加权重？