如何在TensorFlow中使用He初始化

Question

当使用ReLU时，从深入研究整流器开始，他/ MSRA初始化似乎是推荐的权重初始化。

在TensorFlow中是否有内置的方式使用它？（类似于：如何在TensorFlow上进行Xavier初始化）？

Answer 1

tf.contrib.layers.variance_scaling_initializer(dtype=tf.float32)

这将为您进行He / MRSA初始化。该文档指出，默认参数tf.contrib.layers.variance_scaling_initializer与He初始化相对应，并且更改参数可以产生Xavier初始化（这是TF在Xavier初始化的内部实现中完成的工作）。

用法示例：

W1 = tf.get_variable('W1', shape=[784, 256],
       initializer=tf.contrib.layers.variance_scaling_initializer())

要么

initializer = tf.contrib.layers.variance_scaling_initializer()
W1 = tf.Variable(initializer([784,256]))