存储和使用对内存来说太大的数据帧的最佳做法?

MW *_*ost 23 r out-of-memory

我正在使用大型数据框,并且已经遇到RAM限制.此时,我可能需要在磁盘上使用序列化版本.有一些软件包支持内存不足的操作,但我不确定哪一个适合我的需求.我宁愿将所有内容保存在数据框中,因此ff包看起来很令人鼓舞,但仍然存在兼容性问题,我无法解决.

当您意识到数据已经达到内存不足时,第一个可以实现的工具是什么?

Dir*_*tel 26

你可能想看看这些包:

  • ff用于'平面文件'存储和非常有效的检索(可以做data.frames;不同的数据类型)
  • out-of-r-memory但仍在RAM(或文件支持)中使用的bigmemory(只能执行矩阵;相同的数据类型)
  • biglm用于内存模型拟合lm()glm()样式模型.

还可以看到高性能计算任务视图.