mar*_*man 5 machine-learning neural-network deep-learning caffe
我正在使用sigmoid cross entropy loss函数来解决本教程中提出的多标记分类问题.但是,在他们对教程和结果的结果中,输出预测都在范围内(-Inf, Inf),而sigmoid的范围是[0, 1].sigmoid是否仅在backprop中处理？也就是说,不应该向前传球挤压输出？
在此示例中,"SigmoidCrossEntropyLoss"图层的输入是完全连接图层的输出.实际上,对"InnerProduct"层的输出值没有约束,它们可以在范围内[-inf, inf].
但是,如果仔细检查,"SigmoidCrossEntropyLoss"您会注意到它"Sigmoid"内部有一层 - 以确保稳定的梯度估算.
因此,在测试时,您应该"SigmoidCrossEntropyLoss"用一个简单的"Sigmoid"层替换输出每类预测.