Vla*_*tiy 2 neural-network conv-neural-network
我们在神经网络中有权重和优化器.
为什么我们只是W*输入然后应用激活,估计损失并最小化它？
为什么我们需要做W*输入+ b？
感谢您的回答!
Bil*_*ill 10
有两种方法可以考虑为什么偏差在神经网络中有用.第一个是概念性的,第二个是数学的.
神经网络受到生物神经元的松散启发.基本思想是人类神经元需要一堆输入并将它们"加"起来.如果输入的总和大于某个阈值,那么神经元将"触发"(产生输出到其他神经元).这个阈值与偏差基本相同.因此,通过这种方式,人工神经网络中的偏差有助于复制真实的人类神经元的行为.
考虑偏差的另一种方法是简单地考虑任何线性函数,y = mx + b.假设您使用y逼近某些线性函数z.如果z具有非零z截距,并且y的等式中没有偏差(即y = mx),则y永远不能完全拟合z.同样,如果您网络中的神经元没有偏差项,那么您的网络可能更难以逼近某些功能.
所有这一切,你并不需要神经网络中的偏见 - 实际上,最近的发展(如批量标准化)使得卷积神经网络中的偏差更少.