机器学习中的激活函数

mrg*_*mrg 3 python math machine-learning calculus sigmoid

机器学习中的激活函数是什么意思?我浏览了大部分文章和视频,每个人都陈述或将其与神经网络进行比较。我是机器学习的新手,对深度学习和神经网络不太熟悉。那么,谁能解释一下激活函数到底是什么?而不是用神经网络来解释。在学习逻辑回归的 Sigmoid 函数时,我遇到了这种歧义。

Pru*_*une 6

如果不参考自动学习,就很难描述激活函数,因为这正是它们的应用,也是集体术语背后的基本原理。它们帮助我们将学习重点放在一系列功能转变中。我会尽力降低描述的复杂性。

非常简单,激活函数是一个滤波器,它将输出信号(一系列值)从当前形式更改为我们认为更“活跃”或对当前目的有用的信号。

例如,一个非常简单的激活函数将是大学录取的截止分数。我的大学要求 SAT 每个部分的分数至少为 500 分。因此,任何申请人都会通过这个过滤器:如果他们不符合该要求,“录取分数”将降至零。这“激活”了其他候选人。

另一个常见的函数是您研究的 sigmoid:其想法是将明显优秀的值(将它们映射到接近 1)与明显不理想的值(将它们映射到 -1)区分开来,并保留区分或了解其中的值的能力。中间(将它们映射到具有对进一步工作有用的渐变的东西)。

第三种类型可能会强调最高端的差异,例如足球进球和助攻。在试图判断球员之间的相对技术水平时,我们必须考虑:一个赛季15个和18个进球之间的差异与0个和3个进球之间的差异相同吗?一些人认为,数字越大,得分技巧的差异就越大:你得分越多,对手就越会集中精力阻止你。另外,我们可能需要考虑到该指标中存在一些“噪音”:一个赛季的前两个进球并没有真正说明什么。

在这种情况下,我们可以为目标选择一个激活函数,g例如

1.2 ^ max(0, g-2)
Run Code Online (Sandbox Code Playgroud)

然后将该评估添加到其他因素中以获得玩家的指标。

这对你解释事情有帮助吗?