识别图像时神经网络决策过程的任何可视化？

Question

我参加了Coursera ML课程,我刚开始学习神经网络.

让我真正神秘化的一件事是,一旦你找到线性组合的好权重,识别某些东西,如手写数字,变得容易.

当你明白通过为线性组合找到一些非常好的参数,并将它们组合在一起并将它们相互馈送时,可以识别出看似抽象的东西(如汽车),这甚至更加疯狂.

线性组合的组合比我曾经想象的更具表现力.
这让我想知道是否有可能可视化NN的决策过程,至少在简单的情况下如此.

例如,如果我的输入是20x20灰度图像(即总共400个特征)并且输出是对应于识别数字的10个类别之一,我希望看到某种线性组合的级联导致NN到其的一种视觉解释结论.

我天真地想象这可以作为被识别图像的视觉提示来实现,可能是显示"影响决策最多的像素"的温度图,或者有助于理解神经网络在特定情况下如何工作的任何东西.

有没有一些神经网络演示呢？

Answer 1

也许它没有直接回答问题，但我在Andrew Ng、Jeff Dean、Quoc Le、Marc\xe2\x80\x99Aurelio Ranzato、Rajat Monga、Matthieu Devin、\nKai Chen 和 \nGreg Corrado 的论文中发现了这篇有趣的文章（强调我的）：

\n

\n

在本节中，我们将提出两种可视化技术来验证神经元的最佳刺激是否确实是一张脸。第一种方法是可视化测试集中反应最灵敏的刺激。由于测试集很大，该方法可以可靠地检测到被测试神经元的接近最优的刺激。第二种方法是执行数值优化以找到最佳刺激

\n

...

\n

这些可视化方法具有互补的优点和缺点。例如，可视化反应最灵敏的刺激可能会受到噪声拟合的影响。另一方面，数值优化方法可能容易受到局部最小值的影响。结果如下所示，证实测试的神经元确实学习了面部的概念。

\n

\n

\n

换句话说，他们采用了在识别面孔方面表现最好的神经元，

\n

\n
• 从数据集中选择使其输出最高置信度的图像；
\n
• 从数学上找到一个具有最高置信度的图像（不在数据集中）。
\n

\n

很有趣的是，它实际上\xe2\x80\x9c捕获了\xe2\x80\x9d 人脸特征。
\n学习是无监督的，即输入数据没有说明图像是否是人脸。

\n

有趣的是，这里生成了猫头和人体的 \xe2\x80\x9coptimal input\xe2\x80\x9d 图像：

\n

\n