我已经*.tfrecord从youtube-8m 项目下载了一些数据。您可以使用以下命令下载一小部分数据:
curl data.yt8m.org/download.py | shard=1,100 partition=2/video/train mirror=us python
我正在尝试了解如何使用新的 tf.data API。我想熟悉人们遍历数据集的典型方式。我一直在使用 TF 网站上的指南和这张幻灯片:Derek Murray 的幻灯片
这是我定义数据集的方式:
# Use interleave() and prefetch() to read many files concurrently.
files = tf.data.Dataset.list_files("./youtube_vids/*.tfrecord")
dataset = files.interleave(lambda x: tf.data.TFRecordDataset(x).prefetch(100),
cycle_length=8)
# Use num_parallel_calls to parallelize map().
dataset = dataset.map(lambda record: tf.parse_single_example(record, feature_map),
num_parallel_calls=2) #
# put in x,y output form
dataset = dataset.map(lambda x: (x['mean_rgb'], x['id']))
# shuffle
dataset = dataset.shuffle(10000)
#one epoch
dataset = dataset.repeat(1)
dataset = dataset.batch(200) …Run Code Online (Sandbox Code Playgroud) 与此类似,我很好奇如何从 numpy 数组中的每个 numpy 数组中删除特定元素。我的数据以下面的 X 形式给出。我认为这应该有效:
X = [[x1 x2 ... xn] [x1 x2 ... xn] ... [x1 x2 ... xn]]
X.shape
(n,|x|)
Y=numpy.delete(X[:],1)
Run Code Online (Sandbox Code Playgroud)
我认为 Y 现在应该是:
Y = [[x1 x3 ... xn] [x1 x3 ... xn] ... [x1 x3 ... xn]]
Run Code Online (Sandbox Code Playgroud)
其中 Y.shape 应该等于 (n-1,|y|=|x|),但它不是。我不明白什么?我的目的是能够删除 X 中每个数组中的所有 x2(低相关变量),以便发送到决策树回归器。如果我能做到这一点就更好了:
index = [ 1 3 7]
Y=numpy.delete(X[:],index)
Run Code Online (Sandbox Code Playgroud)
如果 X 不是“嵌套” numpy 数组,则该方法有效。参考链接中的回复:
array([1, 2, 3, 4, 5, 6, 7, 8, 9])
index
[2, 3, 6]
new_a …Run Code Online (Sandbox Code Playgroud) 我是JavaFX和Java的新手.我想知道如何在立方体或任何多面体的表面上制作场景?我想在任何3D形状的表面上播放视频.我怎么能这样做?
我想了解将 csv 复制到 postgresql 表需要多长时间。有没有一种方法可以以合理的方式打印复制的行,或者是否有另一种方法可以以某种方式显示复制的进度?
也许有一个详细的设置,或者我应该使用 --echo 或 -qecho
我在用:
psql -U postgres -d nyc_data -h localhost -c "\COPY rides FROM nyc_data_rides.csv CSV"