R内存管理建议(插入符号,模型矩阵,数据帧)

Question

我在正常的8GB服务器上运行内存不足,在服务器学习环境中使用相当小的数据集:

> dim(basetrainf) # this is a dataframe
[1] 58168   118

我采用的唯一预先建模步骤显着增加了内存消耗,即将数据帧转换为模型矩阵.这是因为caret,cor等仅适用于(模型)矩阵.即使在去除具有多个级别的因子之后,矩阵(mergem下面)也相当大.(sparse.model.matrix/ Matrix一般来说支持得很差,所以我不能用它.)

> lsos()
                 Type      Size PrettySize   Rows Columns
mergem         matrix 879205616   838.5 Mb 115562     943
trainf     data.frame  80613120    76.9 Mb 106944     119
inttrainf      matrix  76642176    73.1 Mb    907   10387
mergef     data.frame  58264784    55.6 Mb 115562      75
dfbase     data.frame  48031936    45.8 Mb  54555     115
basetrainf data.frame  40369328    38.5 Mb  58168     118
df2        data.frame  34276128    32.7 Mb  54555     103
tf         data.frame  33182272    31.6 Mb  54555      98
m.gbm           train  20417696    19.5 Mb     16      NA
res.glmnet       list  14263256    13.6 Mb      4      NA

此外,由于许多R模型不支持示例权重,我不得不首先对少数类进行过采样,使数据集的大小加倍(为什么trainf,mergef,mergem的行数是basetrainf的两倍).

此时R使用1.7GB内存,使我的总内存使用量从7.7GB增加到4.3GB.

我接下来要做的是:

> m = train(mergem[mergef$istrain,], mergef[mergef$istrain,response], method='rf')

Bam - 在几秒钟内,Linux内存杀手杀死了rsession.

我可以对我的数据进行采样,采样不足而不是过采样等,但这些都是非理想的.我应该做什么(不同的),没有重写插入符号以及我打算使用的各种模型包？

FWIW,我从来没有遇到过其他ML软件(Weka,Orange等)的这个问题,即使没有修剪我的任何因素,也许是因为所有模型中的示例加权和"数据框架"支持.

完整的脚本如下:

library(caret)
library(Matrix)
library(doMC)
registerDoMC(2)

response = 'class'

repr = 'dummy'
do.impute = F

xmode = function(xs) names(which.max(table(xs)))

read.orng = function(path) {
  # read header
  hdr = strsplit(readLines(path, n=1), '\t')
  pairs = sapply(hdr, function(field) strsplit(field, '#'))
  names = sapply(pairs, function(pair) pair[2])
  classes = sapply(pairs, function(pair)
    if (grepl('C', pair[1])) 'numeric' else 'factor')

  # read data
  dfbase = read.table(path, header=T, sep='\t', quote='', col.names=names, na.strings='?', colClasses=classes, comment.char='')

  # switch response, remove meta columns
  df = dfbase[sapply(pairs, function(pair) !grepl('m', pair[1]) && pair[2] != 'class' || pair[2] == response)]

  df
}

train.and.test = function(x, y, trains, method) {
  m = train(x[trains,], y[trains,], method=method)
  ps = extractPrediction(list(m), testX=x[!trains,], testY=y[!trains,])
  perf = postResample(ps$pred, ps$obs)
  list(m=m, ps=ps, perf=perf)
}

# From 
sparse.cor = function(x){
  memory.limit(size=10000)
  n 200 levels')
badfactors = sapply(mergef, function(x)
  is.factor(x) && (nlevels(x)  200))
mergef = mergef[, -which(badfactors)]

print('remove near-zero variance predictors')
mergef = mergef[, -nearZeroVar(mergef)]

print('create model matrix, making everything numeric')
if (repr == 'dummy') {
  dummies = dummyVars(as.formula(paste(response, '~ .')), mergef)
  mergem = predict(dummies, newdata=mergef)
} else {
  mat = if (repr == 'sparse') model.matrix else sparse.model.matrix
  mergem = mat(as.formula(paste(response, '~ .')), data=mergef)
  # remove intercept column
  mergem = mergem[, -1]
}

print('remove high-correlation predictors')
merge.cor = (if (repr == 'sparse') sparse.cor else cor)(mergem)
mergem = mergem[, -findCorrelation(merge.cor, cutoff=.75)]

print('try a couple of different methods')
do.method = function(method) {
  train.and.test(mergem, mergef[response], mergef$istrain, method)
}
res.gbm = do.method('gbm')
res.glmnet = do.method('glmnet')
res.rf = do.method('parRF')

Answer 1

有了那么多数据,重采样误差估计和随机森林OOB误差估计应该非常接近.尝试使用trainControl(method = "OOB")并且train()不适合重采样数据集上的额外模型.

此外,避免像瘟疫一样的公式界面.

您也可以尝试装袋.由于每次吐痰都没有随机选择预测变量,因此您可以通过50-100次重采样获得良好的结果(而不是随机森林需要更多的重复样本).

其他人可能不同意,但我也认为对所有数据建模并不总是最好的方法.除非预测器空间很大,否则许多数据点将与其他数据点非常相似,并且对模型拟合没有太大贡献(除了额外的计算复杂性和结果对象的占用空间).caret有一个调用的函数maxDissim可能有助于细化数据(尽管它也不是非常有效)

Answer 2

检查底层的randomForest代码是否存储了树林.也许减少,tuneLength以便减少mtry正在尝试的值.

此外,我可能只是手动拟合一个随机森林,看看我是否可以在我的机器上安装这样的模型.如果你不能直接安装一个,你将无法一次性使用插入符号.

在这一点上,我认为你需要找出导致内存膨胀的原因,以及如何控制模型拟合,使其不会失控.因此,请确定插入符号的调用方式randomForest()以及它使用的选项.您可能可以关闭其中一些(例如存储我之前提到的林,还有变量重要性度量).一旦确定了最佳值mtry,您就可以尝试使用您可能希望帮助解释拟合的所有附加物来拟合模型.