如何可视化keras中的误差面？

Question

我们在许多书中看到了具有全局最小值的误差表面和神经网络收敛的漂亮图片。我如何可视化 keras 中类似的东西，即包含误差表面，以及我的模型如何收敛以实现全局最小误差？下面是此类插图的示例图像。这个链接有不同优化器的动画插图。我为此目的探索了张量板日志回调，但找不到任何这样的东西。一点指导将不胜感激。

Answer 1

图片和动画是出于说教目的而制作的，但误差表面是完全未知的（或者非常复杂，难以理解或可视化）。这就是使用梯度下降背后的整个想法。

通过获取当前梯度，我们只能知道在单个点上函数增加的方向。

您可以尝试通过获取每次迭代的权重值和误差来绘制您所遵循的方式（线），但随后您将面临另一个问题：它是一个大规模的多维函数。它实际上不是一个表面。变量的数量是模型中权重的数量（通常是数千甚至数百万）。这绝对不可能被形象化，甚至无法想象为视觉事物。

要绘制这样的曲面，您必须手动更改所有数千个权重以获得每种排列的误差。除了“无法可视化”的问题之外，这会非常耗时。