如果我们不将激活应用于隐藏层并仅应用于前馈神经网络的输出层,该怎么办？
Sum*_*ith 4 artificial-intelligence machine-learning neural-network deep-learning activation-function
这里有隐藏的陷阱吗？即使是流行的ReLU也是max(0,x),我们将允许最大值传递并将负数剪辑为零.如果我们同时允许正值和负值,会出现什么问题？或者为什么我们在ReLU中将负值剪切为零.
Sum*_*ith 4 artificial-intelligence machine-learning neural-network deep-learning activation-function
这里有隐藏的陷阱吗？即使是流行的ReLU也是max(0,x),我们将允许最大值传递并将负数剪辑为零.如果我们同时允许正值和负值,会出现什么问题？或者为什么我们在ReLU中将负值剪切为零.
