Java发送多个HTTP请求的最佳方式

Question

我有一个 Java 程序，它使用 Java 11 HttpClient 向服务器发送数百个 GET 请求，并且每分钟需要执行 2-3 次。目前，它执行以下操作（仅描述逻辑）：

for each request that needs to be sent:

    //build GET request
    CompletableFuture<HttpResponse<String>> future = client.sendAsync(request, HttpResponse.BodyHandlers.ofString());
    futures.add(future)
    // for every 100 request, sleep for 2500 milliseconds (to wait for responses)

for each future in futures:
    // parse JSON response

代码大部分工作正常，但是，它受到互联网连接强度的严重影响，就好像它很糟糕一样，80% 的请求没有得到响应，因为等待时间不够。

问题是这是否是正确的方法，如果不是，那会是什么。另外，我是否应该等待所有请求得到响应（例如同步发送请求并使用 .join()），如果是，我该怎么做。

Answer 1

如果您的所有 API 调用都是独立的，那么您可以先触发，然后再加入结果。

使用 GET 的简单示例：

List<URI> uris  = ... //

HttpClient client = HttpClient.newHttpClient();
List<HttpRequest> requests = uris.stream()
        .map(HttpRequest::newBuilder)
        .map(reqBuilder -> reqBuilder.build())
        .collect(toList());

CompletableFuture.allOf(requests.stream()
        .map(request -> client.sendAsync(request, ofString()))
        .toArray(CompletableFuture<?>[]::new))
        .join();

您也可能会从使用自定义执行器中受益：

private static final ExecutorService executorService = Executors.newFixedThreadPool(5);

private static final HttpClient httpClient = HttpClient.newBuilder()
        .executor(executorService)
        .version(HttpClient.Version.HTTP_2)
        .connectTimeout(Duration.ofSeconds(10))
        .build();

已编辑----

如果你想要结果，那么 allOf 没有帮助，因为它实际上返回 VOID。

静态 CompletableFuture allOf(CompletableFuture<?>... cfs)

返回一个新的 CompletableFuture，当所有给定的 CompletableFuture 完成时，该 CompletableFuture 也完成。

相反，您仍然可以使用 join，但是以不同的方式：

List<CompleteFuture<HttpResponse<String>> listOfCompletableFutures = ...

     listOfCompletableFutures.
    .stream()
    .map(CompletableFuture::join)
    .filter(Objects::nonNull)
    .collect(Collectors.toList());

好的参考资料：

https://openjdk.java.net/groups/net/httpclient/recipes.html

Java 11 HttpClient - HttpClient 与并发 HttpRequest 的最佳比率是多少

https://mkyong.com/java/java-11-httpclient-examples/

Java 从多次调用中收集 CompletableFuture 的结果