小编unk*_*_jy的帖子

使用贝叶斯优化的深度学习结构的超参数优化

我已经为原始信号分类任务构建了CLDNN(卷积,LSTM,深度神经网络)结构.

每个训练时期运行大约90秒,超参数似乎很难优化.

我一直在研究各种方法来优化超参数(例如随机或网格搜索),并发现贝叶斯优化.

虽然我还没有完全理解优化算法,但我喜欢它会对我有很大帮助.

我想问几个关于优化任务的问题.

  1. 如何针对深层网络设置贝叶斯优化?(我们尝试优化的成本函数是多少?)
  2. 我想要优化的功能是什么?它是N个时代之后验证集的成本吗?
  3. 留兰香是这项任务的良好起点吗?有关此任务的任何其他建议吗?

我非常感谢对此问题的任何见解.

optimization machine-learning bayesian deep-learning tensorflow

29
推荐指数
1
解决办法
3081
查看次数

在iPython交互式shell中使用conda环境

我想在我的conda env中使用iPython的交互式shell并且遇到问题.我采取的步骤是:

source activate myenv
conda install ipython
ipython
Run Code Online (Sandbox Code Playgroud)

当我在ipython交互式shell中时,它从anaconda根bin调用python.(~/anaconda2/bin')

我有什么办法可以改变python路径~/anaconda2/envs/myenv/bin并从myenv导入包吗?

当我在网上搜索时,我看到很少有解决方案让env在jupyter中工作,但没有回答让它在交互式shell上工作.

environment ipython anaconda conda

11
推荐指数
1
解决办法
3962
查看次数

运行ARKit应用程序时出错"[DeviceMotion]事件引用无效"

我正在尝试使用ARKit运行一个简单的应用程序,每当我运行应用程序时,我都会收到以下错误.

2017-10-02 15:16:17.717533-0700 MyARKitProject [3702:2654241] [DeviceMotion]事件引用无效

ios devicemotion arkit

8
推荐指数
1
解决办法
427
查看次数

Tensorflow GPU 内存错误 try- except 未捕获错误

我正在尝试在具有大量可训练变量的大型网络上运行超参数优化(使用留兰香)。我担心当我尝试隐藏单元数量太大的网络时,Tensorflow 会抛出 GPU 内存错误。

我想知道是否有一种方法可以捕获 Tensorflow 抛出的 GPU 内存错误,并跳过导致内存错误的一批超参数。

例如,我想要类似的东西

import tensorflow as tf 

dim = [100000,100000]
X   = tf.Variable( tf.truncated_normal( dim, stddev=0.1 ) )

with tf.Session() as sess:
    try:
        tf.global_variables_initializer().run()
    except Exception as e :
        print e
Run Code Online (Sandbox Code Playgroud)

当我尝试上面测试内存错误异常时,代码会中断并仅打印 GPU 内存错误,并且不会进入 except 块。

python gpu except deep-learning tensorflow

6
推荐指数
1
解决办法
2234
查看次数

Tensorflow卷积与numpy卷积之间的差异

import numpy as np
import tensorflow as tf

X_node    = tf.placeholder('float',[1,10,1])
filter_tf = tf.Variable( tf.truncated_normal([3,1,1],stddev=0.1) )

Xconv_tf_tensor = tf.nn.conv1d(X_node, filter_tf,1,'SAME')

X = np.random.normal(0,1,[1,10,1])
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    feed_dict = {X_node: X}
    filter_np = filter_tf.eval()
    Xconv_tf = sess.run(Xconv_tf_tensor,feed_dict)
    Xconv_np = np.convolve(X[0,:,0],filter_np[:,0,0],'SAME')
Run Code Online (Sandbox Code Playgroud)

我试图从Tensorflow看到卷积的结果,以检查它是否按照我的意图行事.当我运行numpy卷积并将其与Tensorflow卷积进行比较时,答案是不同的.上面的代码是我运行测试的方式.我希望Xconv_tf并且Xconv_np平等.

我的最终目标是在具有1维滤波器的矩阵上运行2D卷积,该滤波器在每行上使用相同的滤波器运行1d卷积.为了使这项工作(基本上是行上的1d卷积循环),我需要找出为什么我的np.convolvetf.conv1d给我不同的答案.

python numpy convolution tensorflow

5
推荐指数
1
解决办法
1696
查看次数

doc2vec 中单个文档的多个标签。标记文档

是否可以训练单个文档具有多个标签的 doc2vec 模型?例如,在电影评论中,

doc0 = doc2vec.TaggedDocument(words=review0,tags=['UID_0','horror','action'])
doc1 = doc2vec.TaggedDocument(words=review1,tags=['UID_1','drama','action','romance'])
Run Code Online (Sandbox Code Playgroud)

在每个文档都有一个唯一标签 (UID) 和多个分类标签的情况下,如何在训练后访问向量?例如,调用最合适的语法是什么

model['UID_1']
Run Code Online (Sandbox Code Playgroud)

python nlp gensim word2vec doc2vec

3
推荐指数
1
解决办法
2649
查看次数