如何在TensorFlow中使用线性激活功能？

Question

在CUDA ConvNet中,我们可以通过书写将神经元激活函数指定为线性neuron=linear[a,b],这样f(x) = ax + b.

如何在TensorFlow中获得相同的结果？

Answer 1

在TensorFlow中编写线性激活的最基本方法是使用tf.matmul()和tf.add()(或+运算符).假设您有一个前一层的输出矩阵(让我们称之为prev_layer),大小为batch_sizex prev_units,线性层的大小为linear_units:

prev_layer = …

linear_W = tf.Variable(tf.truncated_normal([prev_units, linear_units], …))
linear_b = tf.Variable(tf.zeros([linear_units]))

linear_layer = tf.matmul(prev_layer, linear_W) + linear_b