小编Ele*_*ode的帖子

如何使用 Tensorboard 检测梯度消失和爆炸？

我有两个“子问题”

1)鉴于目前在“un-deprecate for #31173”write_grads=True中已弃用，我如何使用 Tensorboard 检测梯度消失或爆炸？Tensorboard callbackwrite_gradsfit

2）我想我可以根据 Tensorboard 的“分布和直方图”选项卡中的权重分布和直方图来判断我的模型是否存在梯度消失问题。我的问题是我没有可以比较的参考框架。目前，我的偏差似乎正在“移动”，但我无法判断我的内核权重（Conv2D 层）是否“移动”/“改变”“足够”。有人可以通过给出经验法则来帮助我在 Tensorboard 中进行视觉评估吗？即，如果只有底部 25% 的籽粒重量发生变化，这是否足够好/不够好？或者也许有人可以从张量板上发布消失梯度与非消失梯度的两个参考图像。

这是我的直方图和分布，是否可以判断我的模型是否存在梯度消失问题？（为简洁起见，省略了一些层）提前致谢。