我有一个.npy文件,其中我基本上都知道所有内容(大小,元素数量,元素类型等),我想有办法在不加载数组的情况下检索特定值.目标是尽可能少地使用内存.
我正在寻找类似的东西
def extract('test.npy',i,j):
return "test.npy[i,j]"
我知道如何使用文本文件(参见最近的问题),但使用npy数组执行此操作将允许我做更多的行提取.
此外,如果你知道任何方法用scipy稀疏矩阵做这个真的很棒.
谢谢.
我有大svmlight文件,我正在用于机器学习目的.我试图看看这些文件的总和是否会导致足够好的结果.
我想提取我的文件的随机行,以将它们提供给我的模型,但我想在RAM中加载较少的信息.
我在这里看到(从Python中的文件中读取一些随机行),我可以使用linecache,但所有解决方案最终都会将所有内容加载到内存中.
有人可以给我一些提示吗？谢谢.
编辑:忘了说我事先知道我文件中的行数.