标签: deep-learning

任何人都可以向我解释这两行代码背后的含义是什么:https://github.com/Newmu/Theano-Tutorials/blob/master/4_modern_net.py

    acc = theano.shared(p.get_value() * 0.)
    acc_new = rho * acc + (1 - rho) * g ** 2

这是一个错误吗？为什么我们将acc实例化为零,然后在下一行中将它乘以rho？看起来它不会以这种方式实现任何目标并且保持为零.如果我们用"acc"替换"rho*acc"会有什么不同吗？

完整功能如下:

def RMSprop(cost, params, lr=0.001, rho=0.9, epsilon=1e-6):
    grads = T.grad(cost=cost, wrt=params)
    updates = []
    for p, g in zip(params, grads):
        acc = theano.shared(p.get_value() * 0.)
        acc_new = rho * acc + (1 - rho) * g ** 2
        gradient_scaling = T.sqrt(acc_new + epsilon)
        g = g / gradient_scaling
        updates.append((acc, acc_new))
        updates.append((p, p - lr * g))
    return …

我在使用caffe从图像生成HDF5数据文件时遇到了这个问题.

所述caffe.io.load_image载荷图像转换成在归一化范围0-1 varible.

调整大小,但所有值都img转换为零

    img = caffe.io.load_image( patht_to_file )
    print img.shape
    print img.dtype
    img = caffe.io.resize( img, (3,SIZE, SIZE) ) #resizes but all values in img converted to zero
    print img.shape
    print img.dtype

我得到的输出是

  (240, 320, 3) 
  float32
  (3, 58, 58) 
  float64

img对于某些值,将值更改为全0,任何人都可以帮我修复此问题.

我想同样的float32改变resize命令的顺序给出正确的输出 给var真正的非零值,img 但顺序和类型不是我需要的

img = caffe.io.resize( img, (SIZE, SIZE, 3) ) # Gives real non zero values to var img
print img.shape
print img.dtype

产量

(240, 320, 3) 
float32 …

我正在尝试使用Adagrad优化器构建CNN,但我收到以下错误.

tensorflow.python.framework.errors.FailedPreconditionError:试图使用未初始化值Variable_7/Adadelta

[[Node:Adadelta/update_Variable_7/ApplyAdadelta = ApplyAdadelta [T = DT_FLOAT,_class = ["loc:@ Variable_7"],use_locking = false,_device ="/ job:localhost/replica:0/task:0/cpu:0 "](Variable_7,Variable_7/Adadelta,Variable_7/Adadelta_1,Adadelta/lr,Adadelta/rho,Adadelta/epsilon,gradients/add_3_grad/tuple/control_dependency_1)]]由op u'Adadelta/update_Variable_7/ApplyAdadelta'引起,

optimizer = tf.train.AdadeltaOptimizer(learning_rate).minimize(cross_entropy)

我尝试在adagrad语句之后重新初始化会话变量,如本文所述,但这也没有帮助.

我怎样才能避免这个错误？谢谢.

Tensorflow:使用Adam优化器

import tensorflow as tf
import numpy
from tensorflow.examples.tutorials.mnist import input_data

def conv2d(x, W):
  return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
  return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                        strides=[1, 2, 2, 1], padding='SAME')

def weight_variable(shape):
  initial = tf.truncated_normal(shape, stddev=0.1)
  return tf.Variable(initial)

def bias_variable(shape):
  initial = tf.constant(0.1, shape=shape)
  return tf.Variable(initial)


mnist = input_data.read_data_sets("/tmp/data/", one_hot=True)

# Parameters
learning_rate …

我正在寻找神经网络优化中的4种最佳算法。我需要名称和任何描述，学习方法和拓扑结构对我很有帮助。我认为多层感知器（MLP）是其中之一，但我不确定。

谢谢你们。

我在Tensorflow中使用了a3c实现的开源版本,这对于atari 2600实验非常有效.但是,当我修改Mujoco的网络时,如文中所述,网络拒绝学习任何有意义的东西.有没有人设法使a3c的任何开源实现与连续域问题一起工作,例如mujoco？

我有一个关于更改网络输出层的问题(AlexNet/GoogleNet/ImageNet).因此标准输出是1x1000 Vector,因此每个类都有一个值.

我知道我可以将输出更改为例如5,所以如果我只有5个类,我会得到1x5 Vector.

但是如果我没有课程怎么办？是否可以将输出更改为18x18之类的矩阵.因为我的网应该输出密度图而不是"类".是否建议使用预先训练好的网络来完成我的任务,还是应该从头开始训练？

谢谢您的帮助 :-)

我是图像处理方面的新手，偶然发现了一个博客，该博客演示了如何使用切片运算符来翻转图像，这是机器学习任务所需要的。

我尝试通过使用 OpenCV 读取 3 通道图像来实现相同的效果，如下所示，但它没有按预期工作！

切片运算符所做的就是将 BGR 图像转换为 RGB 图像（无翻转！）。

import cv2
from matplotlib import pyplot as plt
%matplotlib inline

img = cv2.imread('path_to_image')
img = img[:,:,::-1]
plt.imshow(img)
plt.show()

我在这里错过了什么？？？

我在 pytorch 中实现软交叉熵损失时遇到一些问题。

我需要为我的模型实现加权软交叉熵损失，这意味着目标值也是概率向量，而不是热向量。

我尝试按照一些论坛中的建议使用 kldivloss，但它不需要权重向量，所以我无法使用它。

一般来说，我对如何使用 pytorch 创建自定义损失函数以及自动梯度如何遵循自定义损失函数有点困惑，特别是如果在模型之后我们应用一些非数学函数，例如映射模型的输出到某个向量并计算映射向量的损失等。

在我遇到的大多数涉及二元分类的文章中，我倾向于看到两种主要类型的输出：

Dense(2, activation = "softmax")

或者

Dense(1, activation = "sigmoid")

Dense(2, activation = "softmax")拥有或Dense(1, activation = "sigmoid")作为二元分类的输出层有什么区别？

具体来说：

• 首先，性能上有区别吗？

• 最后，经过培训，使用上有什么区别吗？

我正在尝试从 pytorch 中的 BERT 模型获取输入梯度。我怎样才能做到这一点？假设 y' = BertModel(x)。我试图找到 $d(loss(y,y'))/dx$