读取CSV行的子集的最快方法

Question

我有一个5GB200万行的csv.标题以逗号分隔strings,每行以逗号分隔doubles,没有丢失或损坏的数据.它是矩形的.

我的目标是尽可能快地将行的10%(有或没有替换,无关紧要)读入RAM .缓慢解决方案(但速度快read.csv)的一个例子是读取整个矩阵,fread然后随机保留10%的行.

require(data.table)
X <- data.matrix(fread('/home/user/test.csv')) #reads full data.matix
X <- X[sample(1:nrow(X))[1:round(nrow(X)/10)],] #sample random 10%

然而,我正在寻找最快的解决方案(这很慢,因为我需要首先阅读整个事物,然后修剪它).

值得给予赏金的解决方案将给出system.time()不同备选方案的估计.

其他:

• 我正在使用Linux
• 我不需要10%的行.大约10%.

Answer 1

我认为这应该可以很快地工作,但是让我知道,因为我还没有尝试过大数据.

write.csv(iris,"iris.csv")

fread("shuf -n 5 iris.csv")

    V1  V2  V3  V4  V5         V6
1:  37 5.5 3.5 1.3 0.2     setosa
2:  88 6.3 2.3 4.4 1.3 versicolor
3:  84 6.0 2.7 5.1 1.6 versicolor
4: 125 6.7 3.3 5.7 2.1  virginica
5: 114 5.7 2.5 5.0 2.0  virginica

这为iris数据集采用N = 5的随机样本.

为了避免再次使用标题行的可能性,这可能是一个有用的修改:

fread("tail -n+2 iris.csv | shuf -n 5", header=FALSE)

Answer 2

这是一个包含100000行的文件,如下所示:

"","a","b","c"
"1",0.825049088569358,0.556148858508095,0.591679535107687
"2",0.161556158447638,0.250450366642326,0.575034103123471
"3",0.676798462402076,0.0854280597995967,0.842135070590302
"4",0.650981109589338,0.204736212035641,0.456373531138524
"5",0.51552157686092,0.420454133534804,0.12279288447462

$ wc -l d.csv 
100001 d.csv

所以这是100000行加上一个标题.如果从0到1的随机数大于0.9,我们希望保留标题并对每一行进行采样.

$ awk 'NR==1 {print} ; rand()>.9 {print}' < d.csv >sample.csv

校验:

$ head sample.csv 
"","a","b","c"
"12",0.732729186303914,0.744814146542922,0.199768838472664
"35",0.00979996216483414,0.633388962829486,0.364802648313344
"36",0.927218825090677,0.730419414117932,0.522808947600424
"42",0.383301998255774,0.349473554175347,0.311060158303007

它有10027行:

$ wc -l sample.csv 
10027 sample.csv

这在我的4-yo盒子上实时需要0.033秒,可能HD速度是这里的限制因素.它应该线性扩展,因为文件是严格逐行处理的.

然后sample.csv使用read.csv或fread根据需要读入:

> s = fread("sample.csv")