Dra*_*ake 3 java concurrency multithreading nullpointerexception java-8
在生产环境中发现了一个关于CompletableFuture.supplyAsync()
我们有如下批处理方法的问题:
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;
import java.util.stream.Collectors;
public class CompletableFutureProblem {
public void batchOperation(){
List<String> stringList = new ArrayList<>();
stringList.add("task1");
stringList.add("task2");
List<CompletableFuture<String>> futures = new ArrayList<>();
stringList.parallelStream().forEach(str -> {
CompletableFuture<String> response = restApiCall(str);
futures.add(response);
});
//futures.add(null);
CompletableFuture<Void> result = CompletableFuture.allOf(futures.toArray(new CompletableFuture[futures.size()]));
CompletableFuture<List<String>> convertedResult = result.thenApply(v ->
futures.stream().map(CompletableFuture::join).collect(Collectors.toList())
);
try {
List<String> finishedTask = convertedResult.get();
System.out.println(finishedTask.toString());
} catch (InterruptedException | ExecutionException e) {
e.printStackTrace();
}
}
public CompletableFuture<String> restApiCall(String str){
return CompletableFuture.supplyAsync(() -> {
return "Complete-" + str;
});
}
public static void main(String[] args) {
CompletableFutureProblem problem = new CompletableFutureProblem();
problem.batchOperation();
}
}
Run Code Online (Sandbox Code Playgroud)
当它工作正常时会打印:[Complete-task2, Complete-task1]
但是,有时它会在生产中抛出如下异常:
Exception in thread "main" java.lang.NullPointerException
at java.util.concurrent.CompletableFuture.andTree(CompletableFuture.java:1320)
at java.util.concurrent.CompletableFuture.allOf(CompletableFuture.java:2238)
at third.concurrent.CompletableFutureProblem.batchOperation(CompletableFutureProblem.java:20)
at third.concurrent.CompletableFutureProblem.main(CompletableFutureProblem.java:40)
Run Code Online (Sandbox Code Playgroud)
我查了CompletableFuture.allOf()源码发现如果list futures包含null,比如futures.add(null),就会抛出异常,但是我真的不知道CompletableFuture.supplyAsync()inrestApiCall方法在什么情况下会返回null?
感谢您的耐心阅读长篇文章。
futures正在由多个线程写入,因为您正在使用stringList并行流。不过futures是ArrayList,这是不是线程安全的。
因此,如果没有适当的同步,您无法确保从不同线程添加到它的每个元素都可见。当您将其转换为数组时,会出现内存可见性问题,这是不确定的,因此有时它会按预期工作。
为了解决这个问题,通常会使用并发集合。然而,在这种情况下,并行化没有意义CompletableFuture.supplyAsync(),因为它是一个非阻塞调用。因此,最好的解决方案是循环遍历列表:
stringList.forEach(str -> {
Run Code Online (Sandbox Code Playgroud)
此外,预先分配的数组 intoArray()应该是空的:
futures.toArray(new CompletableFuture[0])
Run Code Online (Sandbox Code Playgroud)