使用Java批量下载http图像的好方法

Question

我们有一个Web应用程序需要通过http从合作伙伴站点导入10-20个图像.如果我有一个表示我想下载的网址的字符串列表,是否有人建议如何尽快下载它们？

我可以把它们放在for循环中,但是如果有一种简单的方法来并行化它,那么最终用户可能会有好处.我想避免使用直接的Java线程,尽管执行程序框架可能是个好主意.

有任何想法吗？

Answer 1

这是我使用Resty的看法.(免责声明:我是Resty的作者)下载命令行中给出的所有URL并打印出文件名.

package us.monoid.web.parallel;

import java.io.File;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.Callable;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;

import us.monoid.web.Resty;

public class Downloader {

    public static void main(String[] args) throws InterruptedException, ExecutionException {
        ExecutorService pool = Executors.newFixedThreadPool(10);
        List<Callable<File>> tasks = new ArrayList<Callable<File>>(args.length);
        for (final String url : args) {
            tasks.add(new Callable<File>() {
                public File call() throws Exception {
                    return new Resty().bytes(url).save(File.createTempFile("img", ".png"));
                }               
            });
        }
        List<Future<File>> results = pool.invokeAll(tasks);
        for (Future<File> ff : results) {
            System.out.println(ff.get());
        }
    }

}

Answer 2

Executor 框架正是您想要的。特别是 ExecutorCompletionService。使用此功能，您将能够以任何顺序快速提交请求。然后，您将完全按照完成的方式检索它们（而不是按提交顺序）。