如果 Keras 结果不可重复，那么比较模型和选择超参数的最佳做法是什么？

Question

更新：这个问题是针对 Tensorflow 1.x 的。我升级到 2.0 并且（至少在下面的简单代码中）重现性问题似乎已在 2.0 上解决。这样就解决了我的问题；但我仍然很好奇 1.x 上针对此问题使用了哪些“最佳实践”。

在 keras/tensorflow 上训练完全相同的模型/参数/数据不会给出可重复的结果，并且每次训练模型时损失都显着不同。有很多关于此的 stackoverflow 问题（例如，如何在 keras 中获得可重现的结果），但推荐的解决方法似乎对我或 StackOverflow 上的许多其他人不起作用。好的，就是这样。

但是考虑到 keras 在张量流上的不可重复性的限制——比较模型和选择超参数的最佳实践是什么？我正在测试不同的架构和激活，但由于每次的损失估计都不同，我永远不确定一个模型是否比另一个更好。是否有处理此问题的最佳做法？

我认为这个问题与我的代码没有任何关系，但以防万一；这是一个示例程序：

import os
#stackoverflow says turning off the GPU helps reproducibility, but it doesn't help for me
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = ""
os.environ['PYTHONHASHSEED']=str(1)

import tensorflow as tf
import tensorflow.keras as keras
import tensorflow.keras.layers 
import random
import pandas as pd
import numpy as np

#StackOverflow says this is needed for reproducibility but it doesn't help for me
from tensorflow.keras import backend as K
config = tf.ConfigProto(intra_op_parallelism_threads=1,inter_op_parallelism_threads=1)
sess = tf.Session(graph=tf.get_default_graph(), config=config)
K.set_session(sess)

#make some random data
NUM_ROWS = 1000
NUM_FEATURES = 10
random_data = np.random.normal(size=(NUM_ROWS, NUM_FEATURES))
df = pd.DataFrame(data=random_data, columns=['x_' + str(ii) for ii in range(NUM_FEATURES)])
y = df.sum(axis=1) + np.random.normal(size=(NUM_ROWS))

def run(x, y):
    #StackOverflow says you have to set the seeds but it doesn't help for me
    tf.set_random_seed(1)
    np.random.seed(1)
    random.seed(1)
    os.environ['PYTHONHASHSEED']=str(1)

    model = keras.Sequential([
            keras.layers.Dense(40, input_dim=df.shape[1], activation='relu'),
            keras.layers.Dense(20, activation='relu'),
            keras.layers.Dense(10, activation='relu'),
            keras.layers.Dense(1, activation='linear')
        ])
    NUM_EPOCHS = 500
    model.compile(optimizer='adam', loss='mean_squared_error')
    model.fit(x, y, epochs=NUM_EPOCHS, verbose=0)
    predictions = model.predict(x).flatten()
    loss = model.evaluate(x,  y) #This prints out the loss by side-effect

#Each time we run it gives a wildly different loss. :-(
run(df, y)
run(df, y)
run(df, y)

鉴于不可重复性，我如何评估超参数和架构的变化是否有帮助？

Answer 1

这是偷偷摸摸的，但实际上，您的代码确实缺少一个提高可重复性的步骤：在每次运行之前重置 Keras 和 TensorFlow 图。没有这个，tf.set_random_seed()将无法正常工作 - 请参阅下面的正确方法。

在将毛巾扔到不可重复性之前，我会用尽所有选项；目前我只知道一个这样的实例，它可能是一个错误。尽管如此，即使您按照所有步骤进行操作，也可能会得到明显不同的结果 - 在这种情况下，请参阅“如果没有任何效果”，但每个步骤显然都不是很有效率，因此最好专注于实现可重复性：

最终改进：

• reset_seeds(K)下面使用
• 提高数值精度： K.set_floatx('float64')
• PYTHONHASHSEED 在Python 内核启动之前设置- 例如从终端
• 升级到 TF 2，其中包括一些可重现性错误修复，但注意性能
• 在单个线程上运行 CPU（非常缓慢）
• 难道不是从导入tf.python.keras-看这里
• 确保所有进口都是一致的（即不要做from keras.layers import ...和from tensorflow.keras.optimizers import ...）
• 使用卓越的 CPU - 例如，谷歌 Colab，即使使用 GPU，对于数值不精确性也更加健壮 - 请参阅此 SO

另请参阅有关重现性的相关 SO

如果没有任何效果：

• 使用完全相同的超参数和种子重新运行 X 次，平均结果
• 使用完全相同的超参数和种子的K 折交叉验证，平均结果 - 更好的选择，但需要做更多的工作

正确的复位方法：

def reset_seeds(reset_graph_with_backend=None):
    if reset_graph_with_backend is not None:
        K = reset_graph_with_backend
        K.clear_session()
        tf.compat.v1.reset_default_graph()
        print("KERAS AND TENSORFLOW GRAPHS RESET")  # optional

    np.random.seed(1)
    random.seed(2)
    tf.compat.v1.set_random_seed(3)
    print("RANDOM SEEDS RESET")  # optional

在单 CPU 线程上运行 TF :(仅限 TF1 的代码）

session_conf = tf.ConfigProto(
      intra_op_parallelism_threads=1,
      inter_op_parallelism_threads=1)
sess = tf.Session(config=session_conf)

Answer 2

这个问题似乎在 Tensorflow 2.0 中得到了解决（至少在简单模型上）！这是一个似乎产生可重复结果的代码片段。

import os
####*IMPORANT*: Have to do this line *before* importing tensorflow
os.environ['PYTHONHASHSEED']=str(1)

import tensorflow as tf
import tensorflow.keras as keras
import tensorflow.keras.layers 
import random
import pandas as pd
import numpy as np

def reset_random_seeds():
   os.environ['PYTHONHASHSEED']=str(1)
   tf.random.set_seed(1)
   np.random.seed(1)
   random.seed(1)

#make some random data
reset_random_seeds()
NUM_ROWS = 1000
NUM_FEATURES = 10
random_data = np.random.normal(size=(NUM_ROWS, NUM_FEATURES))
df = pd.DataFrame(data=random_data, columns=['x_' + str(ii) for ii in range(NUM_FEATURES)])
y = df.sum(axis=1) + np.random.normal(size=(NUM_ROWS))

def run(x, y):
    reset_random_seeds()

    model = keras.Sequential([
            keras.layers.Dense(40, input_dim=df.shape[1], activation='relu'),
            keras.layers.Dense(20, activation='relu'),
            keras.layers.Dense(10, activation='relu'),
            keras.layers.Dense(1, activation='linear')
        ])
    NUM_EPOCHS = 500
    model.compile(optimizer='adam', loss='mean_squared_error')
    model.fit(x, y, epochs=NUM_EPOCHS, verbose=0)
    predictions = model.predict(x).flatten()
    loss = model.evaluate(x,  y) #This prints out the loss by side-effect

#With Tensorflow 2.0 this is now reproducible! 
run(df, y)
run(df, y)
run(df, y)