小编syz*_*ygy的帖子

有效地从TensorFlow中获取渐变?

我正在尝试使用TensorFlow实现异步参数服务器DistBelief样式.我发现minimize()被分成两个函数,compute_gradients和apply_gradients,所以我的计划是在它们之间插入一个网络边界.我有一个关于如何同时评估所有渐变并将它们全部拉出来的问题.我知道eval只评估必要的子图,但它也只返回一个张量,而不是计算张量所需的张量链.

我怎样才能更有效地做到这一点?我把Deep MNIST的例子作为起点:

import tensorflow as tf
import download_mnist

def weight_variable(shape, name):
   initial = tf.truncated_normal(shape, stddev=0.1)
   return tf.Variable(initial, name=name)

def bias_variable(shape, name):
   initial = tf.constant(0.1, shape=shape)
   return tf.Variable(initial, name=name)

def conv2d(x, W):
   return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

def max_pool_2x2(x):
   return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                         strides=[1, 2, 2, 1], padding='SAME')

mnist = download_mnist.read_data_sets('MNIST_data', one_hot=True)
session = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784], name='x')
x_image = tf.reshape(x, [-1,28,28,1], name='reshape')
y_ = tf.placeholder("float", shape=[None, 10], name='y_')
W_conv1 = weight_variable([5, …
Run Code Online (Sandbox Code Playgroud)

python gradient tensorflow

15
推荐指数
2
解决办法
1万
查看次数

在Rollup.js中使用jQuery DataTables

好的,我是第一次使用工具汇总,我喜欢它制作代码的规模很小。摇树很棒。但是,我很难让它正确地包含所有内容。我尝试过使用一个入口点exp.js,从这里从各种文件中导出内容:

export {
    dashboardCharts
} from './dashboard.js';
Run Code Online (Sandbox Code Playgroud)

我的rollup.config.js看起来像

export default {
    // tell rollup our main entry point
    input: [
        'assets/js/exp.js',
    ],

    output: {
      name: 'helloworld',
      file: 'build/js/main.js',
        format: 'iife'
        // format: 'umd'
    },
    plugins: [
        resolve({
            // pass custom options to the resolve plugin
            customResolveOptions: {
              moduleDirectory: 'node_modules'
            }
        }),
        multiEntry()
        // terser(),
    ],
};
Run Code Online (Sandbox Code Playgroud)

该文件dashboard.js包含datatables库,因此数据表包含在捆绑包main.js中。但是,数据表通过测试来测试是否应该采用commonjs路径

else if ( typeof exports === 'object' ) {
    // CommonJS
    module.exports = function (root, $) {
Run Code Online (Sandbox Code Playgroud)

并且我试图在浏览器中执行此操作,因此我不希望使用commonjs路径。汇总的顶级范围声明为

var helloworld = (function (exports) …
Run Code Online (Sandbox Code Playgroud)

javascript jquery datatables rollupjs

14
推荐指数
1
解决办法
203
查看次数

gnuplot标记数据

我是gnuplot的新手,我很难找到一些命令的含义.我想绘制一个csv文件,其中行是数据点,三列分别代表数据标签,x值和y值.我希望x轴上的第二列和y轴上的第三列以及第一列作为附加到该点的标签.这是数据

ACB,  0.0000000,  0.0000000000
ASW,  1.0919705, -0.0864042502
CDX,  0.0000000,  0.0000000000
CEU, -0.4369415, -0.5184317277
CHB, -0.4686879,  0.7764323199
CHD,  0.0000000,  0.0000000000
CHS, -0.4141749,  0.7482543582
CLM, -0.2559306, -0.2535837629
FIN, -0.5004242, -0.2108050200
GBR, -0.4140216, -0.5132990203
GIH,  0.0000000,  0.0000000000
IBS, -0.4928541, -0.5812216372
JPT, -0.4821734,  0.7263450301
KHV,  0.0000000,  0.0000000000
LWK,  1.4515552, -0.0003996165
MKK,  0.0000000,  0.0000000000
MXL, -0.4019733, -0.0484315198
PEL,  0.0000000,  0.0000000000
PUR, -0.2165559, -0.3173440295
TSI, -0.3956957, -0.4549254002   
YRI,  1.5555644, -0.0202297606
Run Code Online (Sandbox Code Playgroud)

我尝试过类似的东西

plot 'infile' using 2:2 with labels, 'infile' using 1:2
Run Code Online (Sandbox Code Playgroud)

但它报告"这种风格没有足够的列".我真的不知道冒号周围的数字是什么意思,虽然我在别人的代码中到处看到它们.

csv label gnuplot labels

12
推荐指数
1
解决办法
2万
查看次数

在OSX中将网卡设置为AP模式

我试图从命令行执行OSX的互联网共享,似乎没有命令,所以我试图通过将网卡转为访问点模式手动完成.我似乎无法找到有关如何在Mac上将无线网卡转为AP模式的任何信息.Linux将使用iwconfig(OSX没有),我已经监控了网络共享打开的文件,但到目前为止还没有骰子.

它看起来与wifid有关,但wifid的文档只说"不要直接调用wifid".也使用airportd命令,但它似乎没有让卡进入AP模式.必须有办法,因为互联网共享创建了一个接入点.

TL; DR:有谁知道如何从命令行打开Internet共享?

macos command-line network-programming access-point

7
推荐指数
0
解决办法
183
查看次数

嵌套Bazel项目

我正在尝试构建一个使用TensorFlow服务的项目,所以我创建了一个带有WORKSPACE文件的目录my_dir,将服务repo克隆到其中,将我的自定义文件放入my_project目录,在tensorflow_serving中配置tensorflow,从my_dir构建tensorflow服务/服务

bazel build //tensorflow_serving/...
Run Code Online (Sandbox Code Playgroud)

那里的一切都很好,然后我尝试构建一个模仿mnist_export的python文件并将其放在my_dir中并生成一个BUILD文件

py_binary(
   name = "export_cnn",
   srcs = [
       "export_cnn.py",
   ],
   deps = [
       "@tf//tensorflow:tensorflow_py",
       "@tf_serving//tensorflow_serving/session_bundle:exporter",
   ],
)
Run Code Online (Sandbox Code Playgroud)

但是,当我跑

bazel build //my_project:export_cnn
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

ERROR: 

.../bazel/_bazel_me/3ef3308a843af155635e839105e8da5c/external/tf/tensorflow/core/BUILD:92:1: null failed: protoc failed: error executing command bazel-out/host/bin/external/tf/google/protobuf/protoc '--cpp_out=bazel-out/local_linux-fastbuild/genfiles/external/tf' -Iexternal/tf -Iexternal/tf/google/protobuf/src ... (remaining 1 argument(s) skipped).
tensorflow/core/framework/step_stats.proto: File not found.
tensorflow/core/framework/device_attributes.proto: File not found.
tensorflow/core/framework/graph.proto: File not found.
tensorflow/core/framework/tensor.proto: File not found.
tensorflow/core/protobuf/config.proto: File not found.
tensorflow/core/protobuf/worker.proto: Import "tensorflow/core/framework/step_stats.proto" was not found or had errors.
tensorflow/core/protobuf/worker.proto: Import "tensorflow/core/framework/device_attributes.proto" was not found or …
Run Code Online (Sandbox Code Playgroud)

python bazel tensorflow tensorflow-serving

6
推荐指数
1
解决办法
829
查看次数

更改JPEG上的EXIF数据而不更改图片

我使用piexif更改jpeg上的exif来读写exif数据,这似乎工作正常。问题是,当我读写jpeg时,即使不更改字节,它也会保存具有不同像素的图片和读取的图片。我需要它是完全相同的像素。我了解这是因为jpeg是有损格式,但是我发现它的唯一方法是将其保存为png,然后使用Mac Preview将其导出为jpeg,这不好,因为我有数百张图片。

def adjust_img(path):
   img = PIL.Image.open(path)
   exif_dict = piexif.load(img.info['exif'])
   new_exif = adjust_exif(exif_dict)
   exif_bytes = piexif.dump(new_exif)
   pc = path.split('/')
   stem = '/'.join(pc[:-1])
   img.save('%s/_%s' % (stem,pc[-1]), "JPEG", exif=exif_bytes, quality=95, optimize=False)
Run Code Online (Sandbox Code Playgroud)

如何保存图片并仅更改exif?

python jpeg image python-imaging-library

6
推荐指数
2
解决办法
1207
查看次数

iOS高斯分布的随机数

可能重复:
在Objective-C/C中生成随机高斯双精度

有没有办法让一个随机数不是来自均匀分布,而是来自iOS中的高斯(正态,贝尔曲线)分布?我发现的所有随机数生成器基本上是统一的,我想让数字簇围绕某一点.谢谢!

random distribution gaussian ios

5
推荐指数
1
解决办法
3694
查看次数

如何在IPFS上进行跨源请求

所以我想把一个网站放在ipfs上,但是它有一些javascript可以调用一个不是ipfs网关的服务器,所以我得到了交叉来源的错误.知道怎么做吗?

cross-domain cors ipfs

5
推荐指数
1
解决办法
2606
查看次数

远程TensorFlow apply_gradients

我试图在两台机器上拆分最小化功能.在一台机器上,我称之为"compute_gradients",在另一台机器上,我称之为"apply_gradients",其中包含通过网络发送的渐变.问题是,无论我做什么,调用apply_gradients(...).run(feed_dict)似乎都不起作用.我试过插入占位符代替apply_gradients的张量渐变,

  variables = [W_conv1, b_conv1, W_conv2, b_conv2, W_fc1, b_fc1, W_fc2, b_fc2]
  loss = -tf.reduce_sum(y_ * tf.log(y_conv))
  optimizer = tf.train.AdamOptimizer(1e-4)
  correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))
  accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
  compute_gradients = optimizer.compute_gradients(loss, variables)

  placeholder_gradients = []
  for grad_var in compute_gradients:
     placeholder_gradients.append((tf.placeholder('float', shape=grad_var[1].get_shape()) ,grad_var[1]))
  apply_gradients = optimizer.apply_gradients(placeholder_gradients)
Run Code Online (Sandbox Code Playgroud)

然后当我收到我打电话的渐变时

  feed_dict = {}
  for i, grad_var in enumerate(compute_gradients):
        feed_dict[placeholder_gradients[i][0]] = tf.convert_to_tensor(gradients[i])
  apply_gradients.run(feed_dict=feed_dict)
Run Code Online (Sandbox Code Playgroud)

但是,当我这样做时,我明白了

ValueError:使用序列设置数组元素.

这只是我尝试过的最新内容,我也尝试了没有占位符的相同解决方案,以及等待创建apply_gradients操作,直到我收到渐变,这会导致不匹配的图形错误.

我应该采取哪些方向帮助?

gradient tensorflow

3
推荐指数
1
解决办法
2856
查看次数

Spark工作者要求荒谬的虚拟内存量

我在2节点纱线集群上运行火花作业.我的数据集不是很大(<100MB),只是用于测试而且工作人员因为要求过多的虚拟内存而被杀死.这里的金额是荒谬的.使用11GB物理内存2GB,使用300GB虚拟内存.

16/02/12 05:49:43 WARN scheduler.TaskSetManager:阶段2.1中丢失的任务0.0(TID 22,ip-172-31-6-141.ec2.internal):ExecutorLostFailure(执行者2退出由其中一个引起正在运行的任务)原因:容器标记为失败:容器上的容器_1455246675722_0023_01_000003:ip-172-31-6-141.ec2.internal.退出状态:143.诊断:容器[pid = 23206,containerID = container_1455246675722_0023_01_000003]正在超出虚拟内存限制.当前用法:使用2.1 GB的11 GB物理内存; 使用305.3 GB的23.1 GB虚拟内存.杀死容器.container_1455246675722_0023_01_000003的进程树转储:| - PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS)SYSTEM_TIME(MILLIS)VMEM_USAGE(BYTES)RSSMEM_USAGE(PAGES)FULL_CMD_LINE | - 23292 23213 23292 23206(python)15 3 101298176 5514 python -m pyspark .daemon | - 23206 1659 23206 23206(bash)0 0 11431936 352/bin/bash -c/usr/lib/jvm/java-7-openjdk-amd64/bin/java -server -XX:OnOutOfMemoryError ='kill%p '-Xms10240m -Xmx10240m -Djava.io.tmpdir =/TMP/Hadoop的根/纳米本地-DIR/usercache /根/应用程序缓存/ application_1455246675722_0023/container_1455246675722_0023_01_000003/TMP '-Dspark.driver.port = 37386' -Dspark.yarn .app.container.log.dir =/mnt/yarn/logs/application_1455246675722_0023/container_1455246675722_0023_01_000003 -XX:MaxPermSize = 256m org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://CoarseGrainedScheduler@172.31.0.92:37386 --executor-id 2 --hostname ip-172-31-6-141.ec2.internal --cores 8 --app-id application_1455246675722_0023 --user-class- 路径文件:/ tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1455246675722_0023/container_1455246675722_0023_01_000003/app .jar 1>/mnt/yarn/logs/application_1455246675722_0023/container_1455246675722_0023_01_000003/stdout …

memory memory-management virtual-memory apache-spark pyspark

3
推荐指数
1
解决办法
2020
查看次数