小编Ove*_*gon的帖子

任何非零值recurrent_dropout都会产生 NaN 损失和权重；后者要么是 0，要么是 NaN。发生在堆叠、浅、stateful, return_sequences= 任何、带有 & w/o Bidirectional(), activation='relu', loss='binary_crossentropy'。NaN 发生在几个批次内。

有修复吗？感谢帮助。

• recurrent_dropout=0.2,0.1,0.01,1e-6
• kernel_constraint=maxnorm(0.5,axis=0)
• recurrent_constraint=maxnorm(0.5,axis=0)
• clipnorm=50 （经验确定），Nadam 优化器
• activation='tanh'- 无 NaN，权重稳定，测试最多 10 个批次
• lr=2e-6,2e-5- 无 NaN，权重稳定，测试最多 10 个批次
• lr=5e-5- 3 个批次没有 NaN，权重稳定 - 第 4 批次有 NaN
• batch_shape=(32,48,16)- 2 个批次损失较大，第 3 批次为 NaN

注意：每批次batch_shape=(32,672,16)17 次调用train_on_batch

• Keras 2.2.4（TensorFlow 后端）、Python 3.7、Spyder 3.3.7（通过 Anaconda）
• GTX 1070 6GB、i7-7700HQ、12GB 内存、Win-10.0.17134 x64
• CuDNN 10+，最新的 …

我将相同的输入（即相同的数据和相同的真实标签）传递给 keras train_on_batch() 和 test_on_batch()。我想知道为什么我的两个函数得到不同的损失值。

代码：

model_del_fin.compile(optimizer=SGD(lr=0.001,decay=0.001/15), loss='categorical_crossentropy',metrics=['accuracy'])
iters_per_epoch = 1285 // 50
print(iters_per_epoch)
num_epochs = 15
outs_store_freq = 20 # in iters
print_loss_freq = 20 # in iters

iter_num = 0
epoch_num = 0
model_outputs = []
loss_history  = []

while epoch_num < num_epochs:
  print("ok")
  while iter_num < iters_per_epoch:
    x_train, y_train = next(train_it2)
    loss_history += [model_del_fin.train_on_batch([x_train,x_train], y_train)]
    print("Iter {} loss: {}".format(iter_num, loss_history[-1]))
    print(model_del_fin.test_on_batch([x_train,x_train], y_train))
    iter_num += 1
  print("EPOCH {} FINISHED".format(epoch_num + 1))

  epoch_num += 1
  iter_num = 0 # …

更新：这个问题是针对 Tensorflow 1.x 的。我升级到 2.0 并且（至少在下面的简单代码中）重现性问题似乎已在 2.0 上解决。这样就解决了我的问题；但我仍然很好奇 1.x 上针对此问题使用了哪些“最佳实践”。

在 keras/tensorflow 上训练完全相同的模型/参数/数据不会给出可重复的结果，并且每次训练模型时损失都显着不同。有很多关于此的 stackoverflow 问题（例如，如何在 keras 中获得可重现的结果），但推荐的解决方法似乎对我或 StackOverflow 上的许多其他人不起作用。好的，就是这样。

但是考虑到 keras 在张量流上的不可重复性的限制——比较模型和选择超参数的最佳实践是什么？我正在测试不同的架构和激活，但由于每次的损失估计都不同，我永远不确定一个模型是否比另一个更好。是否有处理此问题的最佳做法？

我认为这个问题与我的代码没有任何关系，但以防万一；这是一个示例程序：

import os
#stackoverflow says turning off the GPU helps reproducibility, but it doesn't help for me
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = ""
os.environ['PYTHONHASHSEED']=str(1)

import tensorflow as tf
import tensorflow.keras as keras
import tensorflow.keras.layers 
import random
import pandas as pd
import numpy as np

#StackOverflow says this is needed for reproducibility but it doesn't help for …

正如标题所述，我正在做多元时间序列预测。我对这种情况有一些经验，并且能够在 TF Keras 中成功设置和训练一个工作模型。

但是，我不知道处理多个不相关的时间序列样本的“正确”方法。我有大约 8000 个独特的样本“块”，每个样本有 800 个时间步到 30,000 个时间步。当然，我无法将它们全部连接成一个时间序列，因为样本 2 的第一个点与样本 1 的最后一个点在时间上没有关系。

因此，我的解决方案是将每个样本单独放入一个循环中（效率极低）。

我的新想法是可以/应该我用空的时间步长填充每个样本的开始= RNN 的回顾量，然后将填充的样本连接成一个时间序列？这意味着第一个时间步将有一个主要为 0 的回溯数据，这听起来像是针对我的问题的另一个“黑客”，而不是正确的方法。

我遇到过研究出版物和问答讨论检查 RNN 权重的必要性；一些相关的答案是在正确的方向，建议get_weights()- 但我如何真正有意义地可视化权重？也就是说，LSTM 和 GRU 都有门，并且所有RNN 都有用作独立特征提取器的通道- 那么我如何（1）获取每个门的权重，以及（2）以信息丰富的方式绘制它们？

发生错误import numpy as np；命令在终端中直接输入时工作正常，但通过Code Runner运行时失败。我在下面重现的步骤。

的输出import sys; print(sys.version)是3.7.5 (default, Oct 31 2019, 15:18:51) [MSC v.1916 64 bit (AMD64)]。VSCode 显示它正在运行预期的 Python 解释器：Python 3.7.5 64-bit ('vsc': conda)在左下窗格（见剪辑）。- 简短的视频演示。

有关启用的扩展和内容的完整列表settings.json，请参阅相关的 Git。

是什么问题，如何解决？

环境信息：Windows 10 x64、Anaconda 10/19（虚拟环境）、VSCode 1.41.1

重现步骤：

conda create --name vsc
conda activate vsc
conda install python==3.7.5
conda install numpy
# in VSCode: import numpy as np, etc

完整追溯：

conda create --name vsc
conda …

当我使用批量标准化但设置时会发生什么batch_size = 1？

因为我使用 3D 医学图像作为训练数据集，由于 GPU 限制，batch size 只能设置为 1。通常，我知道，当 时batch_size = 1，方差将为 0。并且(x-mean)/variance会因除以0 而导致错误。

但是为什么我设置的时候没有出现错误batch_size = 1呢？为什么我的网络训练得和我预期的一样好？有人能解释一下吗？

有人认为：

ZeroDivisionError由于两种情况，可能不会遇到 。首先，异常在trycatch 块中被捕获。其次，1e-19在方差项中添加一个小的有理数 ( )，使其永远不会为零。

但也有人不同意。他们说：

您应该计算批次图像中所有像素的均值和标准差。（所以即使batch_size = 1，batch中仍然有很多像素。所以batch_size=1仍然可以工作的原因不是因为1e-19）

我查过Pytorch的源码，从代码上我觉得后一种是对的。

有人有不同意见吗？？？

每次我都必须引用一个我不愿意引用的方法:func:`package.subpackage.module.method`，尤其是那些经常使用的方法。有没有办法以某种方式“注册”，package.subpackage这样就module.method足够了？（更好的是，假设没有冲突，package.subpackage.module这样就足够了）。method

解决方案不应涉及将目录添加到packageor subpackage，但我可以将任何内容添加到docs/. 请注意，这里的问题涉及method文档字符串模块外部的定义（否则.method有效）。