小编leo*_*ard的帖子

在 2.0 会话中迭代 tf.data.Dataset 的正确方法

我已经*.tfrecordyoutube-8m 项目下载了一些数据。您可以使用以下命令下载一小部分数据:

curl data.yt8m.org/download.py | shard=1,100 partition=2/video/train mirror=us python

我正在尝试了解如何使用新的 tf.data API。我想熟悉人们遍历数据集的典型方式。我一直在使用 TF 网站上的指南和这张幻灯片:Derek Murray 的幻灯片

这是我定义数据集的方式:

# Use interleave() and prefetch() to read many files concurrently.
files = tf.data.Dataset.list_files("./youtube_vids/*.tfrecord")
dataset = files.interleave(lambda x: tf.data.TFRecordDataset(x).prefetch(100),
                           cycle_length=8)

# Use num_parallel_calls to parallelize map().
dataset = dataset.map(lambda record: tf.parse_single_example(record, feature_map),
                     num_parallel_calls=2) #

# put in x,y output form
dataset = dataset.map(lambda x: (x['mean_rgb'], x['id']))

# shuffle
dataset = dataset.shuffle(10000)

#one epoch
dataset = dataset.repeat(1)
dataset = dataset.batch(200) …
Run Code Online (Sandbox Code Playgroud)

python tensorflow tfrecord tensorflow-datasets

8
推荐指数
1
解决办法
8900
查看次数

如何删除numpy数组中所有numpy数组中的第n个元素?

类似,我很好奇如何从 numpy 数组中的每个 numpy 数组中删除特定元素。我的数据以下面的 X 形式给出。我认为这应该有效:

X = [[x1 x2 ... xn] [x1 x2 ... xn] ... [x1 x2 ... xn]]
X.shape
(n,|x|)

Y=numpy.delete(X[:],1)
Run Code Online (Sandbox Code Playgroud)

我认为 Y 现在应该是:

Y = [[x1 x3 ... xn] [x1 x3 ... xn] ... [x1 x3 ... xn]]
Run Code Online (Sandbox Code Playgroud)

其中 Y.shape 应该等于 (n-1,|y|=|x|),但它不是。我不明白什么?我的目的是能够删除 X 中每个数组中的所有 x2(低相关变量),以便发送到决策树回归器。如果我能做到这一点就更好了:

index = [ 1 3 7]
Y=numpy.delete(X[:],index)
Run Code Online (Sandbox Code Playgroud)

如果 X 不是“嵌套” numpy 数组,则该方法有效。参考链接中的回复:

array([1, 2, 3, 4, 5, 6, 7, 8, 9])

index
[2, 3, 6]

new_a …
Run Code Online (Sandbox Code Playgroud)

python arrays indexing numpy multidimensional-array

6
推荐指数
1
解决办法
6635
查看次数

如何使用JavaFX在3D形状上播放视频?

我是JavaFX和Java的新手.我想知道如何在立方体或任何多面体的表面上制作场景?我想在任何3D形状的表面上播放视频.我怎么能这样做?

3d video javafx javafx-3d

5
推荐指数
3
解决办法
1934
查看次数

估计/打印 csv COPY 状态到 postgresql 表

我想了解将 csv 复制到 postgresql 表需要多长时间。有没有一种方法可以以合理的方式打印复制的行,或者是否有另一种方法可以以某种方式显示复制的进度?

也许有一个详细的设置,或者我应该使用 --echo 或 -qecho

我在用: psql -U postgres -d nyc_data -h localhost -c "\COPY rides FROM nyc_data_rides.csv CSV"

postgresql copy psql

4
推荐指数
1
解决办法
4752
查看次数