神经网络(非)线性

Question

在讨论神经网络时,我对使用术语线性/非线性感到困惑.任何人都可以为我澄清这3点:

1. 神经网络中的每个节点都是输入的加权和.这是输入的线性组合.因此,每个节点的值(忽略激活)由一些线性函数给出.我听说神经网络是通用函数逼近器.这是否意味着,尽管每个节点中包含线性函数,但总网络也能够逼近非线性函数？有没有明确的例子说明这在实践中是如何运作的？
2. 激活函数被应用于该节点的输出以压缩/变换输出以进一步传播通过网络的其余部分.我是否正确地将激活函数的输出解释为该节点的"强度"？
3. 激活函数也称为非线性函数.非线性一词来自哪里？因为激活的输入是输入到节点的线性组合的结果.我假设它指的是像sigmoid函数这样的东西是非线性函数？为什么激活是非线性的呢？

Answer 1

1线性

如果使用非线性激活函数压缩来自节点的输出信号,则神经网络仅是非线性的.完整的神经网络(具有非线性激活函数)是任意函数逼近器.

额外:应该注意的是,如果您在多个连续图层中使用线性激活函数,您也可以将它们修剪为单个图层,因为它们是线性的.(权重将更改为更极端的值).使用线性激活函数创建具有多个图层的网络将无法比具有单个图层的网络建模更复杂的功能.

2激活信号

解释压扁的输出信号很可能被解释为该信号的强度(从生物学上讲).认为将输出强度解释为模糊逻辑中的置信度可能是不正确的.

3非线性激活功能

是的,你是现实.输入信号及其各自的权重是线性组合.非线性来自您选择的激活功能.请记住,线性函数被绘制为一条线 - sigmoid,tanh,ReLU等可能无法用一条直线绘制.

为什么我们需要非线性激活功能？

大多数功能和分类任务可能最好用非线性函数描述.如果我们决定使用线性激活函数,我们最终会对复杂函数进行更粗略的近似.

通用近似器

你有时可以在论文中读到神经网络是通用的近似值.这意味着一个"完美"的网络可以适用于你可以投入的任何模型/功能,尽管配置完美的网络(#nodes和#layers ++)是一项非常重要的任务.

阅读更多关于维基百科页面的含义.