题

我正在使用tf.Tensor和tf.concat()处理大型训练数据，我发现连续使用tf.concat()变得缓慢。从文件加载大数据的最佳方法是什么tf.Tensor？

背景

我认为这是在 Javascript 中按数组处理数据的常用方法。要实现这一点，需要执行一些粗略的步骤。

将数据从文件加载到数组的步骤

1. 从文件中读取行
2. 将行解析为 Javascript 的对象
3. 将该对象添加到数组中 Array.push()
4. 读完一行后，我们可以在 for 循环中使用该数组。

所以我想我可以tf.concat()以与上面类似的方式使用。

将数据从文件加载到 tf.Tensor 的步骤

1. 从文件中读取行
2. 将行解析为 Javascript 的对象
3. 将对象解析为 tf.Tensor
4. 将张量添加到原始张量 tf.concat()
5. 读完一行后，我们可以使用 tf.Tensor

一些代码

这是一些代码来测量Array.push()和tf.concat()

import * as tf from "@tensorflow/tfjs"

let t = tf.tensor1d([1])
let addT = tf.tensor1d([2])

console.time()
for (let idx = 0; idx < 50000; idx++) {
    if (idx % 1000 == 0) {
        console.timeEnd()
        console.time()
        console.log(idx) …