小编Sri*_*thy的帖子

在R中建模一个非常大的数据集(180万行×270列)

我正在使用内存为8 GBWindows 8操作系统.我有一个180万行x 270列的data.frame ,我必须执行glm.(logit /任何其他分类)

我尝试使用ff和bigglm包来处理数据.

但我仍然面临错误" Error: cannot allocate vector of size 81.5 Gb" 的问题.因此,我将行数减少到10,并在类ffdf的对象上尝试了bigglm的步骤.但是错误仍然存​​在.

任何人都可以建议我用这么多行和列构建分类模型这个问题的解决方案吗?

**EDITS**:

我在运行代码时没有使用任何其他程序.在运行代码之前系统上的RAM是60%免费的,这是因为R程序.当我终止R时,RAM 80%免费.

我正在根据评论者的建议添加一些我正在使用的专栏进行复制. OPEN_FLG是DV,其他是IDV

str(x[1:10,])
'data.frame':   10 obs. of  270 variables:
 $ OPEN_FLG                   : Factor w/ 2 levels "N","Y": 1 1 1 1 1 1 1 1 1 1    
 $ new_list_id                : Factor w/ 9 levels "0","3","5","6",..: 1 1 1 1 1 1 1 1 1 …
Run Code Online (Sandbox Code Playgroud)

r classification bigdata

5
推荐指数
1
解决办法
2324
查看次数

标签 统计

bigdata ×1

classification ×1

r ×1