相关疑难解决方法(0)

使用贝叶斯优化的深度学习结构的超参数优化

我已经为原始信号分类任务构建了CLDNN(卷积,LSTM,深度神经网络)结构.

每个训练时期运行大约90秒,超参数似乎很难优化.

我一直在研究各种方法来优化超参数(例如随机或网格搜索),并发现贝叶斯优化.

虽然我还没有完全理解优化算法,但我喜欢它会对我有很大帮助.

我想问几个关于优化任务的问题.

  1. 如何针对深层网络设置贝叶斯优化?(我们尝试优化的成本函数是多少?)
  2. 我想要优化的功能是什么?它是N个时代之后验证集的成本吗?
  3. 留兰香是这项任务的良好起点吗?有关此任务的任何其他建议吗?

我非常感谢对此问题的任何见解.

optimization machine-learning bayesian deep-learning tensorflow

29
推荐指数
1
解决办法
3081
查看次数