Saf*_*efi 6 machine-learning neural-network tensorflow cross-entropy
我想知道为什么在Tensorflow 1.5.0及更高版本中,softmax_cross_entropy_with_logits_v2默认反向传播到标签和logits.您希望将哪些应用程序/场景支持标签？
我在下面看到github问题提出同样的问题,你可能想要关注它以便将来更新.
https://github.com/tensorflow/minigo/issues/37
我并不代表做出这个决定的开发人员,但我猜测他们会默认这样做,因为它确实经常使用,对于大多数你没有反向传播到标签的应用,标签是一个常数无论如何也不会受到不利影响.
反向传播到标签的两个常见用例是:
围绕构建愚弄神经网络的对抗性示例存在整个研究领域.用于这样做的许多方法涉及训练网络,然后固定网络并反向传播到标签(原始图像)以调整它(通常在某些约束下)以产生欺骗网络错误分类图像的结果.
我还建议人们在youtube上观看deepviz工具包视频,你将学到很多关于神经网络学习的内部表示.
https://www.youtube.com/watch?v=AgkfIQ4IGaM
如果你继续挖掘它并找到原始纸张,你会发现它们也会反向传播到标签中以生成图像,这些图像高度激活网络中的某些过滤器以便理解它们.