小编I. *_*. A的帖子

我有一个神经网络,其组织如下:

conv1 - pool1 - local reponse normalization (lrn2) - conv2 - lrn2 - pool2 -
conv3 - pool3 - conv4 - pool4 - conv5 - pool5 - dense layer (local1) - 
local2 - softmax

在查看了tensorboard的发行版之后,我得到了以下内容:

下图是激活随时间的输出.

因此,从损失数字来看,很明显网络正在学习.此外,所有的偏见都表明它们是学习的结果.但是重量怎么样,看起来它们没有随时间变化？我从它的数字中得到的是合乎逻辑的吗？请注意,我只在图表中发布了权重和偏差的图像子集.所有重量的数字都与我在这里所呈现的数字类似,同样对于偏见似乎学习了偏见,而重量则没有!

以下是我构建图表的方法:

# Parameters
learning_rate = 0.0001
batch_size = 1024
n_classes = 1  # 1 since we need the value of the retrainer.

weights = {
    'weights_conv1': tf.get_variable(name='weights1', shape=[5, 5, 3, 128], dtype=tf.float32,
                        initializer=tf.contrib.layers.xavier_initializer_conv2d(uniform=False, dtype=tf.float32)),
    'weights_conv2': tf.get_variable(name='weights2', shape=[3, 3, 128, …

我想知道如何在一批图像上执行图像白化.

根据https://www.tensorflow.org/api_docs/python/tf/image/per_image_standardization中的文档,据说tf.image.per_image_standardization将形状的3D张量(即图像)作为输入[height, width, channels].

它是缺失的功能还是有不同的方法？

任何帮助深表感谢.

我一直在研究训练和验证数据集的损失函数，我一直看到验证损失小于训练损失，即使它们是相同的数据集。我试图了解为什么会出现这种情况。

我正在 tensorflow 中训练一个模型来预测一些时间序列数据。因此，模型创建和预处理如下：

window_size = 40
batch_size  = 32
forecast_period = 6
model_name = "LSTM"
tf.keras.backend.clear_session()

_seed = 42
tf.random.set_seed(_seed)

def _sub_to_batch(sub):
    return sub.batch(window_size, drop_remainder=True)

def _return_input_output(tensor):
    _input  = tensor[:, :-forecast_period, :]
    _output = tensor[:, forecast_period:, :]
    return _input, _output

def _reshape_tensor(tensor):
    tensor = tf.expand_dims(tensor, axis=-1)
    tensor = tf.transpose(tensor, [1, 0, 2])
    return tensor


# total elements after unbatch(): 3813
train_ts_dataset = tf.data.Dataset.from_tensor_slices(train_ts)\
                            .window(window_size, shift=1)\
                            .flat_map(_sub_to_batch)\
                            .map(_reshape_tensor)\
                            .map(_return_input_output)
#                             .unbatch().shuffle(buffer_size=500, seed=_seed).batch(batch_size)\
#                             .map(_return_input_output)

valid_ts_dataset = tf.data.Dataset.from_tensor_slices(valid_ts)\
                            .window(window_size, shift=1)\
                            .flat_map(_sub_to_batch)\ …

我想知道批量归一化和自归一化神经网络之间的区别。换句话说，SELU（缩放指数线性单元）会取代批量归一化吗？

此外，在查看 SELU 激活值后，我发现它们在以下范围内：[-1, 1]. 虽然批量标准化不是这种情况。取而代之的是，BN层之后（relu 激活之前）的值采用了[-a, a]大约的值，而不是[-1, 1]。

以下是我在 SELU 激活后和批处理规范层后打印值的方式：

batch_norm_layer = tf.Print(batch_norm_layer,
                           data=[tf.reduce_max(batch_norm_layer), tf.reduce_min(batch_norm_layer)],
                           message = name_scope + ' min and max') 

和 SELU 激活的类似代码......

Batch norm层定义如下：

def batch_norm(x, n_out, phase_train, in_conv_layer = True):

    with tf.variable_scope('bn'):
        beta = tf.Variable(tf.constant(0.0, shape=n_out),
                                     name='beta', trainable=True)
        gamma = tf.Variable(tf.constant(1.0, shape=n_out),
                                      name='gamma', trainable=True)
        if in_conv_layer:
            batch_mean, batch_var = tf.nn.moments(x, [0, 1, 2], name='moments')
        else:
            batch_mean, batch_var = tf.nn.moments(x, [0, 1], name='moments')

        ema = tf.train.ExponentialMovingAverage(decay=0.9999) …

我知道我可以使用tensorflow旋转图像tf.contrib.image.rotate。但是，假设我想以弧度为单位，以-0.3到0.3之间的角度随机应用旋转，如下所示：

images = tf.contrib.image.rotate(images, tf.random_uniform(shape=[batch_size], minval=-0.3, maxval=0.3, seed=mseed), interpolation='BILINEAR')

到目前为止，这将正常工作。但是，当批次大小在最后一次迭代中发生变化并且出现错误时，就会出现问题。那么，如何解决此代码并使它在所有情况下都能正常工作？请注意，输入图像是使用tf.data.Datasetapi 馈送的。

任何帮助深表感谢！！

( RMSE和MAE都是测量两个向量之间距离的方法：预测向量和目标值向量。各种距离测量或范数都是可能的。一般来说，计算向量的大小或长度是通常直接需要或作为更广泛的向量或向量矩阵运算的一部分。

import numpy as np
import plotly.offline as pyo
import plotly.graph_objs as go
from plotly import tools

num_points = 1000
num_outliers = 50

x = np.linspace(0, 10, …