为什么我们在卷积神经网络的卷积层之后使用激活函数？

Question

我是机器学习的新手，我不了解卷积神经网络的一件事就是为什么我们在卷积层之后执行激活。

Answer 1

因为一个卷积后面跟着一个卷积就是一个卷积。因此，在不介入某种非卷积层（例如 relu 层）的情况下，任意深度的卷积神经网络从根本上等同于只有一层的卷积神经网络。这是因为组合线性变换是线性的：

y = m1*(m2*x + b2) + b1
  = m1 * m2 * x + m1 * b2 + b1

哪一个只是一个线性函数......当你只学习一个并且完全相同时，为什么要学习两个？这个逻辑甚至适用于局部线性函数（卷积是局部线性的）。因此，对于卷积神经网络（也包括普通神经网络），我们必须在线性层之间做一些非线性的事情，任何事情。一个非常简单的非线性函数是relu，它是一个基本的“弯曲”。