Tensorboard的零值分数应如何解释？

Question

I am running a cloud ML engine job and my tensorboard plots are showing the fraction of zero values for my hidden layers steadily increasing towards 1 as the number of steps increases. How should this plot be interpreted? I believe it is a good thing as more zero values would suggest that the model is getting more "certain" about the predictions that it is making.

Answer 1

通常，这意味着您的正则化技术和/或激活功能正在将激活强制为零。您尚未共享模型的详细信息，但这在使用辍学（尤其是relu激活功能）时很常见。

具有大量零激活的模型倾向于更好地泛化，因此具有更好的准确性。

如果您需要更多详细信息，请参阅有关dropout的JMLR论文。

我确实要注意，激活至少为零有时是不好的，至少对于ReLU激活功能而言。基本上，他们可以毫不客气地“死”。因此，如果看到不良的模型质量，请当心。更多信息在这里。