在RCurl中创建一个C级文件句柄,用于编写下载的文件

Question

在RCurl中,CFILE定义了一个函数和一个类来处理C级文件句柄.从手册:

目的是能够将这些作为选项传递给libcurl,以便它可以从文件读取或写入文件.我们也可以使用R连接执行此操作并指定操作这些连接的回调函数.但是对于大型文件来说,使用C级文件句柄的速度可能会快得多.

没有与下载相关的示例,所以我试过:

library(RCurl)
u = "http://cran.r-project.org/web/packages/RCurl/RCurl.pdf"
f = CFILE("RCurl.pdf", mode="wb")
ret= getURL(u,  write = getNativeSymbolInfo("R_curl_write_binary_data")$address,
                file  = f@ref)

我也尝试用替换file选项writedata = f@ref.该文件已下载但已损坏.为write参数编写自定义回调仅适用于非二进制数据.

有没有想过在RCurl中将二进制文件直接下载到磁盘(不加载到内存中)？

Answer 1

我想你想使用writedata并记得关闭文件

library(RCurl)
filename <- tempfile()
f <- CFILE(filename, "wb")
url <- "http://cran.fhcrc.org/Rlogo.jpg"
curlPerform(url = url, writedata = f@ref)
close(f)

对于更精细的写作,我不确定这是否是最佳方式,但Linux告诉我,来自

man curl_easy_setopt

有一个卷曲选项CURL_WRITEFUNCTION,它是一个带有原型的C函数的指针

size_t function(void *ptr, size_t  size, size_t nmemb, void *stream);

在？curlPerform结束时的R中,有一个将C函数作为'writefunction'选项调用的例子.所以我创建了一个文件curl_writer.c

#include <stdio.h>

size_t
writer(void *buffer, size_t size, size_t nmemb, void *stream)
{
    fprintf(stderr, "<writer> size = %d, nmemb = %d\n",
            (int) size, (int) nmemb);
    return size * nmemb;
}

编译它

R CMD SHLIB curl_writer.c

在Linux上生成一个文件curl_writer.so,然后在R中

dyn.load("curl_writer.so")
writer <- getNativeSymbolInfo("writer", PACKAGE="curl_writer")$address
curlPerform(URL=url, writefunction=writer)

并继续stderr

<writer> size = 1, nmemb = 2653
<writer> size = 1, nmemb = 520
OK 

可以集成这两个想法,即使用任意函数写入任意文件,通过修改C函数以使用我们传入的FILE*,

#include <stdio.h>

size_t
writer(void *buffer, size_t size, size_t nmemb, void *stream)
{
    FILE *fout = (FILE *) stream;
    fprintf(fout, "<writer> size = %d, nmemb = %d\n",
            (int) size, (int) nmemb);
    fflush(fout);
    return size * nmemb;
}

然后在编译后回到R中

dyn.load("curl_writer.so")
writer <- getNativeSymbolInfo("writer", PACKAGE="curl_writer")$address
f <- CFILE(filename <- tempfile(), "wb")
curlPerform(URL=url, writedata=f@ref, writefunction=writer)
close(f)

getURL也可以在这里使用writedata=f@ref, write=writer; 我认为原始问题中的问题是它R_curl_write_binary_data实际上是一个内部函数,写入由RCurl管理的缓冲区,而不是像创建的文件句柄那样CFILE.同样,指定writedatawithout write(从源代码看起来getURL是writefunction的别名)将指向文件的指针发送到期望指向其他东西的函数; 对于getURL,需要提供writedata和write.