Ans*_*wal 22 backpropagation neural-network
我刚刚开始为神经网络编程.我目前正在研究Backpropogation(BP)神经网络是如何工作的.虽然BP网络中的训练算法非常简单,但我无法找到有关算法工作原理的任何文本.更具体地说,我正在寻找一些数学推理来证明在神经网络中使用sigmoid函数是正确的,并且是什么使它们模仿几乎任何抛出它们的数据分布.
谢谢!
mba*_*rov 25
S形函数在网络中引入非线性.如果没有非线性激活函数,网络只能学习其输入的线性组合的函数.结果被称为universal approximation theorem或者Cybenko theorem,在1989年证明它的绅士之后.维基百科是一个很好的起点,它有一个原始论文的链接(虽然证据有点涉及).之所以使用sigmoid而不是其他东西,是因为它是连续的和可微的,它的导数计算速度非常快(与tanh的导数相反,具有相似的属性)并且范围有限(从0开始) 1,独家)
| 归档时间： |
|
| 查看次数： |
11296 次 |
| 最近记录： |