Tensorflow,tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits之间的区别

Question

我已经阅读了两个函数的文档,但据我所知,对于函数tf.nn.softmax_cross_entropy_with_logits(logits, labels, dim=-1, name=None),结果是交叉熵损失,其中维度logits和维度labels相同.

但是,对于功能tf.nn.sparse_softmax_cross_entropy_with_logits,尺寸logits和labels不一样？

你能举个更详细的例子tf.nn.sparse_softmax_cross_entropy_with_logits吗？

Answer 1

不同之处在于tf.nn.softmax_cross_entropy_with_logits不假设类是互斥的:

测量离散分类任务中的概率误差,其中每个类是独立的而不是互斥的.例如,可以执行多标签分类,其中图片可以同时包含大象和狗.

比较sparse_*:

测量离散分类任务中的概率误差,其中类是互斥的(每个条目恰好在一个类中).例如,每个CIFAR-10图像都标有一个且只有一个标签:图像可以是狗或卡车,但不是两者.

因此,对于稀疏函数,维度logits和维度labels不同:labels每个示例包含一个数字,而每个示例包含logits表示概率的类数.