在循环中构建图时，Tensorflow内存泄漏

Question

当我因选择使用Tensorflow（1.12.0版）模型的超参数而进行的网格搜索由于内存消耗激增而崩溃时，我注意到了这一点。

请注意，与这里看起来类似的问题不同，我确实关闭了图和会话（使用上下文管理器），并且没有在循环中向图添加节点。

我怀疑tensorflow可能会保留在每次迭代之间都不会清除的全局变量，因此我在迭代之前和之后都调用了globals（），但是在每次迭代之前和之后都没有观察到全局变量集合中的任何区别。

我举了一个小例子，重现了这个问题。我在循环中训练了一个简单的MNIST分类器，并绘制了该进程消耗的内存：

import matplotlib.pyplot as plt
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
import psutil
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
process = psutil.Process(os.getpid())

N_REPS = 100
N_ITER = 10
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x_test, y_test = mnist.test.images, mnist.test.labels

# Runs experiment several times.
mem = []
for i in range(N_REPS):
    with tf.Graph().as_default():
        net = tf.contrib.layers.fully_connected(x_test, 200)
        logits = tf.contrib.layers.fully_connected(net, 10, activation_fn=None)
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_test, logits=logits))
        train_op = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(loss)
        init = tf.global_variables_initializer()
        with tf.Session() as sess:
            # training loop.
            sess.run(init)
            for _ in range(N_ITER):
                sess.run(train_op)
    mem.append(process.memory_info().rss)
plt.plot(range(N_REPS), mem)

生成的图看起来像这样：

在我的实际项目中，进程内存从几百MB（取决于数据集的大小）开始，一直到64 GB，直到我的系统内存不足为止。我尝试过一些使增速变慢的方法，例如使用占位符和feed_dicts而不是依赖convert_to_tensor。但是持续的增长仍然存在，只是速度较慢。

Answer 1

在实例化新图之前，您需要在 for 循环的每次迭代之后清除图。tf.reset_default_graph()在 for 循环末尾添加应该可以解决内存泄漏问题。

for i in range(N_REPS):
    with tf.Graph().as_default():
        net = tf.contrib.layers.fully_connected(x_test, 200)
        ...
    mem.append(process.memory_info().rss)
    tf.reset_default_graph()