小编Oph*_*tan的帖子

如何找到3D对象是否适合另一个3D对象(容器)?

给定两个3d对象,我如何找到一个是否适合第二个(并在容器中找到对象的位置).

应该翻译和旋转对象以适合容器 - 但不会另行修改.

其他并发症:

  1. 相同的情况 - 但寻找最合适的解决方案,即使它不是一个正确的匹配(最小化不适合容器的对象的体积)

  2. 支持弹性物体 - 找到最佳配合,同时最小化物体中的"扭曲"

这是一个相当普遍的问题 - 我不希望有完整的解决方案.任何指向相关论文\ articles\libraries\tools的指针都会很有用

algorithm computational-geometry

7
推荐指数
1
解决办法
1991
查看次数

hdfs数据节点与namenode断开连接

我经常在cloudera经理中得到以下错误:

This DataNode is not connected to one or more of its NameNode(s). 
Run Code Online (Sandbox Code Playgroud)

和

The Cloudera Manager agent got an unexpected response from this role's web server.
Run Code Online (Sandbox Code Playgroud)

(通常在一起,有时只有一个)

在SO和Google中大多数对这些错误的引用中,问题是配置问题(并且数据节点从不连接到名称节点)

在我的情况下,数据节点通常在启动时连接,但在一段时间后松开连接 - 因此它似乎不是一个糟糕的配置.

  • 还有其他选择吗?
  • 是否可以强制数据节点重新连接到名称节点?
  • 是否可以从数据节点"ping"名称节点(模拟数据节点的连接尝试)
  • 它可能是某种资源问题(对许多打开的文件\连接)?

样本日志(错误随时变化)

2014-02-25 06:39:49,179 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: exception:
java.net.SocketTimeoutException: 480000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/10.56.144.18:50010 remote=/10.56.144.28:48089]
        at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:165)
        at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:153)
        at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:114)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:504)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:673)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:338)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:92)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:64)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:221)
        at java.lang.Thread.run(Thread.java:662) …
Run Code Online (Sandbox Code Playgroud)

hadoop hdfs cloudera

7
推荐指数
1
解决办法
4442
查看次数

是否有可能在keras中实现动态类权重?

keras支持该class_weights功能,允许为不同的类提供不同的权重 - 例如,当样本数量不平衡时

我想做类似的事情,但要使用动态权重,基于每个批次中的类不平衡.

这可能吗?

python machine-learning neural-network deep-learning keras

7
推荐指数
2
解决办法
1008
查看次数

视觉工作室宏与道具文件的路径

简短的问题:

我希望能够使用props文件的路径作为来自props文件内部的宏(比如能够引用项目目录$(ProjectDir))

长问题

我使用道具文件来添加对各种第三方库的引用.

如果我可以指定第三方库的绝对路径,这很简单.

但是,我想指定一个相对路径 - 因为不同的团队成员对源控制树使用不同的位置.有没有方法将这些相对路径添加到道具文件?

指定相对于项目目录的路径也不是一个好的解决方案,因为项目的位置没有固定(因此对于我需要的一个项目$(SolutionDir)\..\XXXX和另一个我需要的项目 $(SolutionDir)\..\..\XXXX

c++ msbuild visual-studio-2010

6
推荐指数
3
解决办法
4046
查看次数

从git安装pip包时,如何知道使用了哪个提交?

如果我使用https://pip.pypa.io/en/stable/reference/pip_install/#git从git安装一个软件包, 那么检出的特定提交是否记录在某处?

python git pip

6
推荐指数
1
解决办法
737
查看次数

aws sagemaker 模型训练中是否存在某种持久性本地存储?

我用aws sagemaker做了一些实验,从S3下载大数据集的时间很成问题,尤其是模型还在开发中,想要一些比较快的初步反馈的时候

是否有某种本地存储或其他方式来加快速度?

编辑 我指的是批处理培训服务,它允许您将作业作为 docker 容器提交。

虽然此服务适用于通常运行很长时间(这使得下载时间不那么重要)的已经过验证的作业,但仍然需要快速反馈

  1. 没有其他方法可以对您的工作与 sagemaker 基础设施(配置文件、数据文件等)进行“集成”测试。

  2. 在试验模型的不同变化时,能够相对较快地获得初始反馈很重要

amazon-sagemaker

6
推荐指数
1
解决办法
3638
查看次数

scikit-lean决策树是否支持无序('enum')多类功能?

从文档中可以看出,它DecisionTreeClassifier支持多类功能

DecisionTreeClassifier既可以是二进制(标签是[-1,1])分类,也可以是多类(标签是[0,...,K-1])分类.

但是,似乎每个节点中的决策规则都基于"大于"

我正在尝试使用枚举功能构建树(其中每个功能的绝对值没有意义 - 只等于\不等于)

这是scikit-learn决策树支持的吗?

我目前的解决方案是将每个功能分离为每个可能值的一组二进制功能 - 但我正在寻找更清洁,更有效的解决方案.

python decision-tree scikit-learn

5
推荐指数
1
解决办法
4006
查看次数

是否可以检测哪些已弃用的类被主动使用?

我有一个相对复杂的java项目,有很多可能没有使用过的类.

代码库的静态分析与某些类相关,但有些是动态加载的(网络服务,持久数据等)

有没有一种方法来获取jvm中主动使用的已弃用类列表,所以我可以知道是否使用了这些类?

[我知道可能会有很少使用的"卧铺类",但这是我可以承担的风险]

java jvm

5
推荐指数
1
解决办法
221
查看次数

我如何在keras模型中使用tensorflow度量函数?

使用python 3.5.2 tensorflow rc 1.1

我正在尝试在keras中使用张量流度量函数。所需的功能接口似乎相同,但调用:

import pandas
import numpy
import tensorflow.contrib.keras as keras
import tensorflow


def target_function(row):
    return float(row[0] - row[1] < 0.5)

df = pandas.DataFrame(numpy.random.rand(10000,2))
label = df.apply(target_function, axis=1)

input_layer = keras.layers.Input(shape=(2,))
net = keras.layers.Dense(1)(input_layer)

model = keras.models.Model(inputs=[input_layer], outputs=[net])
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[tensorflow.metrics.auc])

model.fit(df.as_matrix(), label.as_matrix(), epochs=10, validation_split=0.2, batch_size=100)
Run Code Online (Sandbox Code Playgroud)

结果与错误:

Using TensorFlow backend.
Traceback (most recent call last):
  File "/Users/ophir/dev/ophir/tf_keras_metrics.py", line 49, in <module>
    metrics=[precision, recall, tensorflow.metrics.auc]
  File "/Users/ophir/anaconda3/envs/p3/lib/python3.5/site-packages/keras/engine/training.py", line 956, in compile
    metric_result = masked_metric_fn(y_true, y_pred, mask=masks[i])
  File "/Users/ophir/anaconda3/envs/p3/lib/python3.5/site-packages/keras/engine/training.py", …
Run Code Online (Sandbox Code Playgroud)

python machine-learning neural-network keras tensorflow

5
推荐指数
1
解决办法
1793
查看次数

时间序列抽取基准:Dask 与 Vaex

我目前使用 Vaex 为直方图生成分箱数据并抽取大的时间序列数据。本质上,我将数百万个时间序列点减少到多个 bin 中,并计算每个 bin 的均值、最大值和最小值。我想比较Vaex(读取 HDF 文件)和 Dask(读取 Parquet 文件)并将其保持在“核外内存”。

更新 3(我已删除以前的更新):

Dask 在第一次运行时比 Vaex 快 30%,但在重复运行时 Vaex 快 4.5 倍。我相信 Vaex 通过内存映射获得了这种加速。Dask 有没有办法改善重复运行的执行时间?

首先,创建一些随机数据并生成一些文件,警告:这将生成 1.5GB 的数据。

import numpy as np
import vaex as vx
import pandas as pd
import dask.dataframe as dd
import os

#cwd = os.getcwd() # Change this to your directory for path to save hdf and parquet files 
cwd = r'F:\temp\DaskVaexx' # Write files to this directory.  Use a fast SSD for …
Run Code Online (Sandbox Code Playgroud)

python numpy dask vaex

5
推荐指数
0
解决办法
2128
查看次数