我有以下代码:
data = np.load("data.npy")
print(data) # Makes sure the array gets loaded in memory
dataset = tf.contrib.data.Dataset.from_tensor_slices((data))
Run Code Online (Sandbox Code Playgroud)
该文件"data.npy"为 3.3 GB。使用 numpy 读取文件需要几秒钟,但是创建 tensorflow 数据集对象的下一行需要很长时间才能执行。这是为什么?它在幕后做什么?
NumPy 的load()函数在加载文件时返回一个惰性文件加载器,而不是实际数据npz。如何加载npz文件以便将数据加载到内存中?