使用Softmax进行二进制分类

Question

我正在使用具有二进制交叉熵的Sigmoid激活函数来训练二元分类器,其提供大约98%的良好准确度.
当我使用softmax和categorical_crossentropy进行训练时,精度非常低(<40%).
我将binary_crossentropy的目标作为0和1的列表传递,例如; [0,1,1,1,0].

知道为什么会这样吗？

这是我用于第二个分类器的模型:

Answer 1

现在,你的第二个模型总是回答"0级",因为它只能在一个类(最后一层的输出数)之间进行选择.

由于您有两个类,因此需要在两个输出上计算softmax + categorical_crossentropy以选择最可能的一个.

因此,您的最后一层应该是:

model.add(Dense(2, activation='softmax')
model.compile(...)

您的sigmoid + binary_crossentropy模型,通过分析单个输出数来计算"Class 0"为True的概率,已经是正确的.

编辑:这是关于Sigmoid函数的一个小解释

Sigmoid可以被视为实数空间和概率空间之间的映射.

请注意:

Sigmoid(-infinity) = 0   
Sigmoid(0) = 0.5   
Sigmoid(+infinity) = 1   

因此,如果网络的实数,输出非常低,则sigmoid将决定"Class 0"接近0的概率,并决定"Class 1"
相反,如果您的网络输出非常高,sigmoid将决定"0级"接近1的概率,并决定"0级"

它的决定类似于仅通过查看输出的符号来决定类.但是,这不允许您的模型学习!实际上,这种二进制损失的梯度几乎无处不在,使得模型无法从错误中学习,因为它没有被正确量化.

这就是为什么使用sigmoid和"binary_crossentropy"的原因:
它们是二进制损失的代理,它具有良好的平滑属性,并且能够学习.

另外,请找到有关Softmax功能和交叉熵的更多信息