luo*_*h97 13 python machine-learning deep-learning tensorflow
在tf.get_variable()没有任何初始化程序规范的情况下调用时,使用的变量初始化的默认方法是什么？Docs只是说"没有".
ken*_*ytm 13
从文档:
如果初始化程序是
None(默认值),则将使用在变量作用域中传递的默认初始值设定项.如果那个None也是,glorot_uniform_initializer将使用a.
该glorot_uniform_initializer函数从均匀分布初始化值.
此功能记录为:
Glorot统一初始化器,也称为Xavier统一初始化器.
它吸引样品从内[-limit,极限]的均匀分布,
其中limit是sqrt(6 / (fan_in + fan_out))
其中fan_in是在重量张量输入单元的数量
和fan_out是在重量张量输出单元的数量.参考:http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf