如何为tensorflow模型选择优化器？

Question

Tensorflow似乎有大量优化器,是否有任何高级指南(或评论文章),哪一个最适合特定类别的损失函数？

Answer 1

这取决于你的数据集和NN模型,但一般来说,我会从亚当开始.本文中的图2(http://arxiv.org/abs/1412.6980)显示Adam运作良好.

此外,您还可以在http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html上看到非常精彩的动画 .