小编ARS*_*ARS的帖子

TensorFlow的数据集API:可变大小的输入

我将我的整个数据集作为元组列表存储在内存中,其中每个元组对应一批固定大小的"N".即

(X [I],标记[I],长度[I])

  • x [i]:numpy形状的数组[N,W,F]; 这里有N个例子,每个W时间步长; 所有时间步长都有固定数量的特征F.
  • label [i]:class:shape [N,]批量中每个示例一个
  • length [i]:数据中的length(次数步数):shape [N,]:这是批处理中每个示例的时间步长(W)

主要问题:批次间的差异很大.

我正在查看以下数据集API的示例文档,但无法理解如何为我的案例创建DataSet对象.像Dataset.from_tensor_slices和Dataset.from_tensor这样的API似乎不起作用(抛出广播错误),因为它们要求张量具有相同的形状i,而且批次之间的W是相同的.有没有办法我可以做而不必填充我的批次(使用DataSet.padded_batch)?

tensorflow tensorflow-gpu tensorflow-datasets

5
推荐指数
0
解决办法
1490
查看次数