神经网络:激活函数与传递函数

Question

似乎激活和传递函数之间存在一些混淆.来自维基百科ANN:

似乎传递函数计算网络,而激活函数是神经元的输出.但是在Matlab的激活函数文档中我引用:

satlin(N,FP)是神经传递函数.传递函数从其净输入计算图层的输出.

那么谁是对的？你可以互换地使用术语激活功能或传递功能吗？

Answer 1

我还引用维基百科:"通常,每个节点的总和都是加权的,并且总和通过称为激活函数或传递函数的非线性函数传递.

至少在机器学习中,我所知道的所有专业人员都可以互换使用它们(更频繁地使用"激活功能",而我认为"传递函数"更常用于信号处理).如果有更严格的定义,则通常不会知道/接受,因此任何使用它们作为两个不同术语的人都必须更清楚.

Answer 2

经过一些研究,我在Duch和Jankowski(1999)的"神经转移函数调查"中发现:

transfer_function = activation function + output function

IMO这个术语现在有意义,因为我们需要有一个值(信号强度)来验证神经元是否会被激活,然后计算它的输出.整个过程的作用是将信号从一层传输到另一层.

两个函数决定了神经元处理信号的方式.的 激活函数确定一个神经元接收的总信号.激活函数的值通常是标量,参数是向量.确定神经元信号处理的第二个函数是输出函数 o(I),对标量激活和返回标量值进行操作.通常,使用压缩函数将输出值保持在指定的范围内.这两个函数一起确定神经元输出信号的值.激活和输出函数的组成称为传递函数 o(I(x)).