在 TensorFlow 中重现 scikit-learn 的 MLPClassifier

Question

我是 Tensorflow 的新手，之前曾广泛使用过 scikit-learn。作为我尝试过渡到 TensorFlow 的第一个练习之一，我试图重现我使用 scikit-learn 的 MLPClassifier 获得的一些结果。

当我使用 MLPClassifier 和大多数默认设置时，我在测试集上的准确率高达 98%。但是，当我在 TensorFlow 中实现我认为等效的单层 ANN 时，我在测试集上的准确率不到 90%。我可以让 TensorFlow 产生类似准确度的唯一方法是在训练集上训练多次 (> 50) 次。

关于差异可能来自哪里的任何想法？或者我可以将我的代码与 Tensorflow 中 sklearn MLPClassifier 的任何实现进行比较吗？

就我而言，我在输出层使用相同的优化器 (Adam)、相同的学习率、相同参数的 L2 正则化、相同的激活函数 (ReLU) 和 softmax 评估。

我对 TensorFlow 图的实现如下：

n_units = 500

X = tf.placeholder(tf.float32, [None, n_features])
Y = tf.placeholder(tf.float32, [None, n_classes])    

# Create weights for all layers
W_input = tf.Variable(tf.truncated_normal([n_features, n_units]))
W_out = tf.Variable(tf.truncated_normal([n_units, n_classes]))

# Create biases for all layers
b_1 = tf.Variable(tf.zeros([n_units]))
b_2 = tf.Variable(tf.zeros(([n_classes])))

# Mount layers
hidden_layer = tf.nn.relu(tf.matmul(X, W_input) + b_1)
logits = tf.matmul(hidden_layer, W_out) + b_2

# Get all weights into a single list
all_weights = tf.concat([tf.reshape(W_input, [-1]), tf.reshape(W_out, [-1])], 0)

# Compute loss function
cross_entropy = tf.reduce_mean(
    tf.losses.softmax_cross_entropy(onehot_labels=Y, logits=logits))

# Compute regularization parameter
regularizer = 0.0001*tf.nn.l2_loss(all_weights)

# Train step
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy + regularizer)

# Get number of correct predictions
correct_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(Y, 1))

# Class prediction
prediction = tf.argmax(tf.nn.softmax(logits), 1)

# Get accuracy
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

我对 sklearn 模型的实现很简单：

clf = neural_network.MLPClassifier(hidden_layer_sizes = (500,), random_state=42)

Answer 1

MLP 分类器是一个神经网络。本质上，它需要经过多次迭代（纪元）的训练，然后才能使用反向传播在隐藏层上学习适当的权重，然后才能正确分类。

\n

如果你看一下 sklearns 的实现，有一个默认参数叫做max_iter

\n

\n

max_iter：int，可选，默认200

\n

最大迭代次数。求解器迭代直至收敛（由 \xe2\x80\x98tol\xe2\x80\x99 确定）或此迭代次数。对于随机求解器（\xe2\x80\x98sgd\xe2\x80\x99、\xe2\x80\x98adam\xe2\x80\x99），请注意，这决定了纪元数（每个数据点将使用多少次） ，而不是梯度步数。

\n

\n

本质上，它会运行 200 个 epoch，然后才能获得 0.98 的准确度。这就是为什么您需要在张量流中运行相同的图 200 次（我假设您所说的 50 次也足够了）以获得完全相同的输出。

\n