Oli*_*ver 5 memory-management r append rbind
我试图将几个文件连接成一个主文件.有5个文件具有相同的结构,我可以将每个文件单独读入数据框中,没有任何问题.我甚至手动设置200+变量的列类,而不是让R决定,因为我认为这导致了问题.但是,将任意两个文件附加在一起会导致内存不足.
警告消息:1:在rbind(deparse.level,...)中:达到4043Mb的总分配:请参阅help(memory.size)
所以我做了一些实验:我加入了两个不同的文件1块.这样可行.我加入了一大块文件2到一大块文件1.这很有效.我加入了一大块文件2到原始文件1.这是有效的.
这些文件中的每一个都在200MB以下,所以我不确定我是否应该耗尽内存.如果有人感兴趣,数据来自hearstchallenge.com.竞争已经结束,我们只是将数据用于分析实验(而不是编程!).
有关如何解决此问题的任何建议？
我也遇到过类似的问题。解决方案是不对大数据使用 rbind() 或 cbind()。他们往往会泄漏内存。
要仅使用 R 来解决您的问题，请首先创建一个数据框，该数据框的尺寸是您将各个部分组合在一起后该数据框将具有的尺寸。然后使用分配来填充大数据框。