R - 4特征中的回归,400万个实例

Question

我有一个文本文件的形式(用户ID,电影ID,评级,时间),我想对数据集做一个vanilla回归.(只有4个功能,> 400万个实例)

model <- glm ( UserId ~ MovieId+Ratings+Time,data=<name>) 

它给出了一个错误:

ERROR: cannot allocate 138.5MB vector . 

文件大小只有93MB.如何用R进行回归并且没有内存问题？我应该以不同方式存储数据吗？

谢谢 .

更多信息:在具有3GB RAM的Linux机箱上工作.我已经google了一下,但大多数链接我都谈到了数据集,这些数据集通常都是RAM,在我的情况下并非如此:(只有93MB).

Answer 1

biglm 是一个专门设计用于将回归模型拟合到大型数据集的包.

它的工作原理是逐块处理数据.它所需的内存量是变量数量的函数,但不是观察数量的函数.