小编jra*_*ary的帖子

在Tensorflow中计算批量中的成对距离而不复制张量?

我想计算Tensorflow中一批特征的成对平方距离.我通过平铺原始张量使用+和*操作有一个简单的实现:

def pairwise_l2_norm2(x, y, scope=None):
    with tf.op_scope([x, y], scope, 'pairwise_l2_norm2'):
        size_x = tf.shape(x)[0]
        size_y = tf.shape(y)[0]
        xx = tf.expand_dims(x, -1)
        xx = tf.tile(xx, tf.pack([1, 1, size_y]))

        yy = tf.expand_dims(y, -1)
        yy = tf.tile(yy, tf.pack([1, 1, size_x]))
        yy = tf.transpose(yy, perm=[2, 1, 0])

        diff = tf.sub(xx, yy)
        square_diff = tf.square(diff)

        square_dist = tf.reduce_sum(square_diff, 1)

        return square_dist
Run Code Online (Sandbox Code Playgroud)

该函数将两个大小为(m,d)和(n,d)的矩阵作为输入,并计算每个行向量之间的平方距离.输出是大小为(m,n)的矩阵,其元素为'd_ij = dist(x_i,y_j)'.

问题是我有一个大批量和高昏暗的功能'm,n,d'复制张量消耗了大量的内存.我正在寻找另一种方法来实现它,而不增加内存使用量,只是存储最终的距离张量.一种双循环原始张量.

python tensorflow

30
推荐指数
3
解决办法
1万
查看次数

如何使用Redcarpet和Markdown呈现表格

我正试图用Redcarpet渲染这样的表格

| header 1 | header 2 |
| -------- | -------- |
| cell 1   | cell 2   |
| cell 3   | cell 4   |
Run Code Online (Sandbox Code Playgroud)

但它不起作用.

是否可以使用Redcarpet呈现表格?

markdown redcarpet

16
推荐指数
1
解决办法
7693
查看次数

如何在我的视图中绑定jquery事件

我想使用一些基于jquery和ember的第三方库.这个库绑定元素上的事件,如下所示:

$('#an-id')
    .bind('anEvent', function (event, params) { ... })
Run Code Online (Sandbox Code Playgroud)

如何将事件enEvent捕获到我的Ember View中并使用基于Ember的事件处理程序.就像是 :

App.MyView = Em.View.create({

   myEventHandler: function(event,params) { ....}
})
Run Code Online (Sandbox Code Playgroud)

ember.js

14
推荐指数
1
解决办法
4560
查看次数

Ember statemanager,controller,view,model:如何将它们链接在一起?

我正面临一个问题,我需要将状态管理器,控制器和视图链接在一起,同时避免得到丑陋的意大利面条代码.问题是:应该首先创建哪些对象并负责创建其他对象?

具体来说,这是我的例子.首先,视图是容器视图的子类,其集合视图为子视图:

App.MyView = Ember.ContainerView.extend {

     childViews: ['streamView']

     streamView: Ember.CollectionView.extend {
     }

}
Run Code Online (Sandbox Code Playgroud)

控制器就像Ember.ArrayController的子类一样,带有一个load方法:

App.MyController = Ember.ArrayController.extend {
     load: ->
        console.log "loading data"
}
Run Code Online (Sandbox Code Playgroud)

状态管理器有一个视图状态,它将实例化App.MyView:

App.MyStateManager = Ember.StateManager.extend {

   initialeState: 'ready'

   ready: Ember.ViewState.extend {

        view: App.MyView    

   }
}
Run Code Online (Sandbox Code Playgroud)

现在我需要运行以下测试:

 controller = App.MyController.create {}
 manager = App.MyStateManager.create {}

 expect(manager.getPath('currentState.name').toEqual('ready')
 expect(controller.load).toHaveBeenCalled()
 streamView = manager.getPath('currentState.view.streamView.content')
 expect(streamView.content).toEqual(controller.content)
Run Code Online (Sandbox Code Playgroud)

为了使最后的期望工作,我需要将我的作为App.MyView的子节点的streamView的内容与控制器内容绑定.我怎么能干净利落地做到这一点?

此外,如何将对状态管理器的引用传递给视图和控制器,以便在某些事件发生时通知管理器,因此需要转移到另一个状态.例如,点击某个项目或控制器确实完成了一项工作?

ember.js

10
推荐指数
1
解决办法
1367
查看次数

用于编写Tensorflow TFRecords数据文件的纯Java/Scala代码

我正在尝试编写Tensorflow RecordWriter类的纯Java/Scala实现,以便将Spark DataFrame转换为TFRecords文件.根据文档,在TFRecords中,每条记录的格式如下:

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data
Run Code Online (Sandbox Code Playgroud)

和CRC掩码

masked_crc = ((crc >> 15) | (crc << 17)) + 0xa282ead8ul
Run Code Online (Sandbox Code Playgroud)

目前,我使用以下代码使用guava实现计算CRC:

import com.google.common.hash.Hashing

object CRC32 {
  val kMaskDelta = 0xa282ead8

  def hash(in: Array[Byte]): Int = {
    val hashing = Hashing.crc32c()
    hashing.hashBytes(in).asInt()
  }

  def mask(crc: Int): Int ={
    ((crc >> 15) | (crc << 17)) + kMaskDelta
  }
}
Run Code Online (Sandbox Code Playgroud)

我的其余代码是:

数据编码部分使用以下代码完成:

  object LittleEndianEncoding {
   def encodeLong(in: Long): Array[Byte] = {
    val baos = new ByteArrayOutputStream()
    val …
Run Code Online (Sandbox Code Playgroud)

java scala guava apache-spark tensorflow

8
推荐指数
2
解决办法
3212
查看次数

tf.train.MonitoredTrainingSession和tf.train.Supervisor有什么区别

我想知道这些2张量流对象在用于训练神经网络时有什么区别?

tensorflow

8
推荐指数
1
解决办法
3071
查看次数

与kineticjs交互式绘图

我想通过单击和拖动来绘制一个矩形.我怎样才能做到这一点 ?我在哪里可以放置我的点击事件监听器?在舞台上还是在舞台上?我有以下代码但它不起作用:

stage = new  Kinetic.Stage({...})
layer = new Kinetic.Layer({...})

stage.add(layer)

stage.on('click', function() {
   var pos  = stage.getMousePosition();
   var rect = new Kinetic.Rect({
       x: pos.x,
       y: pos.y,
       width: 10,
       height: 10,
   });
   layer.add(rect);
   layer.draw(); 
})
Run Code Online (Sandbox Code Playgroud)

谢谢.

javascript canvas kineticjs

7
推荐指数
1
解决办法
7651
查看次数

使用tf.estimator.Estimator加载检查点和微调

我们正在尝试将旧的培训代码转换为更符合tf.estimator.Estimator的代码。在初始代码中,我们微调了目标数据集的原始模型。结合使用Variables_to_restoreinit_fnMonitoredTrainingSession进行组合,在进行训练之前仅从检查点加载一些图层。如何使用tf.estimator.Estimator方法实现这种重量负载?

tensorflow

6
推荐指数
1
解决办法
2004
查看次数

如何使用 Kubernetes 在 Spark 中设置临时存储

使用 Kubernetes 集群运行 spark 作业时,我们收到以下错误:

2018-11-30 14:00:47 INFO  DAGScheduler:54 - Resubmitted ShuffleMapTask(1, 58), so marking it as still running.
2018-11-30 14:00:47 WARN  TaskSetManager:66 - Lost task 310.0 in stage 1.0 (TID 311, 10.233.71.29, executor 3): ExecutorLostFailure (executor 3 exited caused by one of the running tasks) Reason: 
The executor with id 3 exited with exit code -1.
The API gave the following brief reason: Evicted
The API gave the following message: The node was low on resource: ephemeral-storage. Container executor …
Run Code Online (Sandbox Code Playgroud)

apache-spark kubernetes

5
推荐指数
1
解决办法
3360
查看次数

Ember数据和Ember StateManager

我有一个应用程序使用ember-data来持久化数据和StateManager来驱动它的全局状态.因为,加载数据是异步的,我想知道如何捕获表示所有数据都已加载的事件.确切地说,我有一个名为"loading"的状态,我在其中加载数据:

App.store.find(App.Model, ....)
Run Code Online (Sandbox Code Playgroud)

加载模型时,我会做一些后期处理.这是在名为"后处理"的"加载"子状态中完成的.当每个模型都有一个"didLoad"事件时,我转到"后处理":

App.Model = DS.Model.extend {
   didLoad: ->
     stateManager.send('postProcess',this)
}
Run Code Online (Sandbox Code Playgroud)

当加载和后处理每个数据时,应用程序应转换到与"加载"处于同一级别的另一个"编辑"状态:

      loading -> postprocessing
root /
     \
      editing
Run Code Online (Sandbox Code Playgroud)

我应该抓住哪些事件来实现转型?ember-data Store是否有回调功能?

ember.js ember-data

4
推荐指数
1
解决办法
2243
查看次数