标签: checkpoint

我使用以下代码在每10个纪元后使用tensorflow检查点:

checkpoint_dir = os.path.abspath(os.path.join(out_dir, "checkpoints"))
checkpoint_prefix = os.path.join(checkpoint_dir, "model")
...
if current_step % checkpoint_every == 0:
    path = saver.save(sess, checkpoint_prefix, global_step=current_step)
    print("Saved model checkpoint to {}\n".format(path))

问题是,随着新文件的生成,以前的5个模型文件会自动被删除.

可以说,你有一个应用程序,它消耗了所有的计算能力.现在你想做一些其他必要的工作.在Linux上是否有任何方法可以中断该应用程序并检查其状态,以便稍后可以从它被中断的状态恢复？

特别是我对一种方法很感兴趣,可以在另一台机器上停止并重新启动应用程序.这也可能吗？

我使用检查点包进行可重复的数据分析。有些计算需要很长时间才能计算，所以我想并行运行它们。然而，当并行运行时，检查点未在工作线程上设置，因此我收到一条错误消息“没有名为 xy 的包”（因为它没有安装在我的默认库目录中）。

我如何确保每个工作人员都使用检查点文件夹中的包版本？我尝试在 foreach 代码中设置 .libPaths 但这似乎不起作用。我还希望在全局范围内设置检查点/libPaths 一次，而不是在每个 foreach 调用中设置一次。

另一种选择可能是更改 .Rprofile 文件，但我不想这样做。

checkpoint::checkpoint("2018-06-01")

library(foreach)
library(doFuture)
library(future)

doFuture::registerDoFuture()
future::plan("multisession")

l <- .libPaths()

# Code to run in parallel does not make much sense of course but I wanted to keep it simple.
res <- foreach::foreach(
  x = unique(iris$Species),
  lib.path = l
) %dopar% {
  .libPaths(lib.path)
  stringr::str_c(x, "_")
}

{ 中的错误：任务 2 失败 - “没有名为‘stringr’的包”

我正在尝试获得验证准确性并选择保存具有最佳准确性的模型。但是在第一个时期之后，它显示检查点错误。

filepath="tumor_detection-{epoch:02d}-{val_acc:.2f}.hdf5"

# save the model with the best validation (development) accuracy till now
checkpoint = ModelCheckpoint(filepath, monitor='val_acc', verbose=1, save_best_only=True, mode='max')

%%time
model.fit(xtrain,ytrain,batch_size=32,epochs=30,validation_data=(xval,yval),callbacks=[checkpoint])```

It is then showing an error as follows:
Epoch 1/30
51/51 [==============================] - ETA: 0s - loss: 0.4651 - accuracy: 0.7725
---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/callbacks.py in _get_file_path(self, epoch, logs)
   1243         # placeholders can cause formatting to fail.
-> 1244         return self.filepath.format(epoch=epoch + 1, **logs)
   1245       except KeyError as e:

KeyError: 'val_acc'

During handling …

LOG_CHECKPOINT_INTERVAL 和 LOG_CHECKPOINT_TIMEOUT 之间有什么区别？我需要清楚地了解基于音量的间隔和基于时间的间隔。LOG_CHECKPOINT_TIMEOUT、LOG_CHECKPOINT_INTERVAL和FAST_START_IO_TARGET之间的关系是什么？

有没有办法缩短我的 BackgroundWorker.CancellationPending 检查站？

例如,有没有办法return像下面的示例代码一样进行封装？:

//REAL CODE (CURRENTLY USE THIS)
if (this.TW.CancellationPending) 
    return; 

//PSEUDO REPLACEMENT CODE
this.CkPt(CurrentMethod); //PSEUDO USAGE 
    //^^^ PARAMETER IS A REFERENCE TO THE CURRENT METHOD, SIMILAR TO `this` FOR AN OBJECT  
//OR MAYBE AN EXTENSION METHOD WOULD LOOK CLEANER
CurrentMethod.CkPt(); //PSEUDO USAGE

private void CkPt(Method m) //PSEUDO METHOD
{
    /*
        POSSIBLY PERFORM OTHER CHECKPOINT TASKS HERE
    */
    if (this.TW.CancellationPending) 
        m.return/*FROM METHOD THAT CALLED ME*/;
}  

我试图使这样的多检查点情况更具可读性:

//PSUEDO METHOD 
//DO NOT TAKE THIS AS REPEATING CODE
//IT …

如何将训练有素的模型存储在Google Colab上并在本地磁盘上进一步检索？检查站会工作吗？我如何存储它们并在一段时间后检索它们？能否请您提及代码。那会很好。

我正面临 tensorflow 模型权重恢复问题。

所以在训练模型期间，我在每 500 次迭代后保存了我的模型检查点，

if j%500==0:
                    with open('iterres.txt','a') as f:
                        f.write(str({'epoch': i, 'test_accuracy': evaluate_(model,batch_size=100),'iteration':j}) + '\n')
                        os.system('mkdir ' + str(i)+'epoch'+str(j))
                        saver.save(sess, '/home/g_cloud/exe_paul/'+str(i)+'epoch'+str(j)+'/'+str(i))

现在我有一个包含所有权重和元数据的检查点文件夹：

我已经下载了权重并创建了一个名为“new_backup”的新文件夹，其中所有权重和元数据都在那里：

当我尝试从该文件夹加载该文件时：

import tensorflow as tf


labels_dict={
              1: 'Yes', 
              0: 'No'
            }


with tf.Session() as sess:


    saver = tf.train.import_meta_graph('../new_backup/1.meta')
    restore = saver.restore(sess,tf.train.latest_checkpoint('../new_backup/'))
    graph=tf.get_default_graph()

    query= graph.get_tensor_by_name("input:0")
    result=graph.get_tensor_by_name("netout:0")

然后我收到此错误：

NotFoundError: /home/g_cloud/exe_paul/1epoch1000; No such file or directory

那是我的云帐户，1epoch1000 是旧文件夹，在训练期间保存了所有重量。我的问题是，如果我转到云并在存在文件夹 1epoch1000 时使用相同的脚本来恢复模型，则脚本正在运行，否则会出现该错误。

我如何更改元以重定向路径或如何在任何地方恢复模型？

Background

• I was planning to use S3 to store the Flink's checkpoints using the FsStateBackend. But somehow I was getting the following error.

Error

org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 's3'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded.

Flink version: I am using Flink 1.10.0 version.