直接从R中的url读取gzipped csv

Question

我正在寻找下载一个gzip压缩的csv并将其作为R对象加载而不先将其保存到磁盘.我可以使用压缩文件执行此操作,但似乎无法使用gzfile或使用它gzcon.

例:

grabRemote <- function(url) {
    temp <- tempfile()
    download.file(url, temp)
    aap.file <- read.csv(gzfile(temp), as.is = TRUE)
    unlink(temp)
    return(aap.file)
}
grabRemote("http://dumps.wikimedia.org/other/articlefeedback/aa_combined-20110321.csv.gz")

下载包含维基百科文章反馈数据的(小)gz压缩文件(不重要,但只是表明它不是巨大的或邪恶的).

我的代码工作正常,但我觉得我错过了一些非常明显的东西,通过创建和销毁临时文件.

Answer 1

我几乎可以肯定我曾经回答过这个问题.其结果是,连接 R(原料药file(),url(),pipe(),...),可以即时做减压,我不认为你可以为远程HTTP对象做到这一点.

所以,做你所描述的非常两步:使用download.file()一个tempfile()结果作为第二个参数,以获取压缩文件,然后从中读取.作为tempfile()对象,它将在你的R会话结束时自动unlink()清理,所以我可以建议的一个小修复是跳过(但我喜欢明确的清理,所以你也可以保留它).

编辑:知道了:

con <- gzcon(url(paste("http://dumps.wikimedia.org/other/articlefeedback/",
                       "aa_combined-20110321.csv.gz", sep="")))
txt <- readLines(con)
dat <- read.csv(textConnection(txt))

dim(dat)
# [1] 1490   19

summary(dat[,1:3])
# aa_page_id       page_namespace                 page_title  
# Min.   :     324   Min.   :0      United_States        :  79  
# 1st Qu.:   88568   1st Qu.:0      2011_NBA_Playoffs    :  52  
# Median : 2445733   Median :0      IPad_2               :  43  
# Mean   : 8279600   Mean   :0      IPod_Touch           :  38  
# 3rd Qu.:16179920   3rd Qu.:0      True_Grit_(2010_film):  38  
# Max.   :31230028   Max.   :0      IPhone_4             :  26  
# (Other)              :1214  

关键是暗示gzcon它可以在现有流周围进行解压缩的帮助.然后,我们需要稍微绕道readLines并textConnection从中读取,因为read.csv想要在数据中来回移动(以确认列宽,我猜).