我想从一个网站下载一些页面并且我成功地使用了它,curl但我想知道如果以某种方式一次curl下载多个页面就像大多数下载管理器一样,它会加速一些事情.是否可以在curl命令行实用程序中执行此操作？
我正在使用的当前命令是
curl 'http://www...../?page=[1-10]' 2>&1 > 1.html
在这里,我从1到10下载页面并将它们存储在一个名为的文件中1.html.
此外,是否可以curl将每个URL的输出写入单独的文件,例如URL.html,URL正在处理的页面的实际URL.
这里有新成员.试图从R中的网站下载大量文件(但也可以打开建议,例如wget.)
从这篇文章中,我了解到我必须使用所需的URL创建一个向量.我最初的问题是写这个载体,因为我在每个州有27个州和34个机构.我必须为所有州的每个机构下载一个文件.虽然州代码总是两个字符,但代理商代码长度为2到7个字符.网址如下所示:
http://website.gov/xx_yyyyyyy.zip
xx状态代码和yyyyyyy代理商代码在哪里,长度在2到7个字符之间.我迷失了如何构建一个这样的循环.
我假设我可以使用以下函数下载此URL列表:
for(i in 1:length(url)){
download.file(urls, destinations, mode="wb")}
那有意义吗？
(免责声明:此帖子的早期版本已提前上传但不完整.我的错误,抱歉!)