非常大的.csv文件,

Question

我有大量的数据,大约2000万行和6列.我试图从这个大的.csv文件中提取数据.我试过R,但我得到错误消息,我使用的是4 GB Ram,i5处理器的macbook.有什么方法可以提取信息,我试过excel,它只需要100万行.任何建议或帮助都会有用

文件超过1.3 GB,我想根据参数将此数据库划分为大约2000-3000的集合.我尝试了R,当我使用read.csv时..我试了一会儿但是在10分左右之后我得到R没有回应 -

我想基于第3列分离这些数据.

SHA PCT实践BNF代码BNF名称

Answer 1

首先,您必须告诉提取数据是什么意思.如果它是某种聚合函数或者它可以被划分,那么我认为最简单的方法是将巨大的csv文件拆分成许多小文件.

如果您还需要其他东西,请看这里:

• 用于在磁盘上存储大数据的包(不是ram)http://ff.r-forge.r-project.org/
• 将点分配给未使用的内存或指向交换文件的包.https://r-forge.r-project.org/R/?group_id=556
• 对大数据进行并列化http://www.r-bloggers.com/taking-r-to-the-limit-parallelism-and-big-data/
• 这里几点讨论http://www.mathfinance.cn/handling-large-csv-files-in-R/ http://r.789695.n4.nabble.com/How-to-Read-a-Large-CSV -INTO-A-数据库与- R-td3043209.html