ReLU可以处理负输入吗?

tt_*_*ntz 11 artificial-intelligence machine-learning neural-network keras tensorflow

我正在训练一个关于数据的神经网络,它以负值和正值出现.

有没有办法将数据输入ReLU网络而不将其全部转换为正数并且有一个单独的输入,表明数据是负数还是正数?

我看到的问题是输入层的负输入意味着除非你已经将权重初始化为负数,否则ReLU节点永远不会被激活并永远死亡.

Tho*_*s W 5

我并不是100%确定你在问什么,因为有许多激活功能,你可以轻松编写自己的代码.如果您不想编写自己的代码,可以尝试一些替代方案:

Leaky ReLU

在此输入图像描述

参数化ReLU

在此输入图像描述

基本上,看看这里 在此输入图像描述