Phi*_*ock 26
Re(ctified)L(inear)(U)nit
通常,神经网络中的层具有一些输入,比如矢量,并且通过权重矩阵将其相乘,即,再次在矢量中.
结果中的每个值(通常是浮点数)都被视为输出.然而,现在神经网络中的大多数层都涉及非线性,因此可以说,附加功能会增加这些输出值的复杂性.很长一段时间,这些都是sigmoids和tanhs.
但是最近人们使用的函数如果输入为负则导致0,如果输入为0或正则则使用输入本身.这种特定的附加功能(或更好的"激活功能")称为relu.
除了Friesel的回答之外,我还想补充一下Relu的两个重要特征.
1.这是不可区分的.
Relu的图:它很尖,不弯曲.
f(x) = max(0,x)
因此它被定义为不可区分的.
2. ReLU的衍生物非常简单!比sigmoid更简单x(1-x).
The derivative of ReLU:
1 if x > 0
0 otherwise
这是我们主要在隐藏层上使用的最简单的非线性函数.想想反向传播会有多容易!
| 归档时间： |
|
| 查看次数： |
13114 次 |
| 最近记录： |