仅在ExecutorService中使用线程的子集

lam*_*lus 6 java multithreading executorservice

在典型的JAVA应用程序中,可以配置一个全局ExecutorService来管理全局线程池。可以说我配置了100个线程的固定线程池:

ExecutorService threadPool = Executors.newFixedThreadPool(100);
Run Code Online (Sandbox Code Playgroud)

现在假设我有一个要上传到服务器的1000个文件的列表,对于每次上传,我都会创建一个可调用的文件,以处理该文件的上传。

List<Callable> uploadTasks = new ArrayList<Callable>();
// Fill the list with 1000 upload tasks
Run Code Online (Sandbox Code Playgroud)

我如何将最大同时上传数量限制为5个?

如果我做

threadPool.invokeAll(uploadTasks);
Run Code Online (Sandbox Code Playgroud)

我无法控制我的1000个任务要执行多少个线程。可能并行运行100个上载,但我只希望最多5个。我想创建某种子执行器,它使用父执行器线程的子集。我不想仅为上传而创建一个新的单独的executorService,因为我想全局管理我的线程池。

你们中的任何人都知道该怎么做或是否存在现有的实现吗?理想情况是

ExecutorService uploadThreadPool = Executors.createSubExecutor(threadPool,5);
Run Code Online (Sandbox Code Playgroud)

非常感谢,

安托万

Wal*_*inz 1

在典型的JAVA应用程序中,配置一个全局ExecutorService来管理全局线程池。

我不这样做,但也许我是非典型。:-) 回到你的问题:

由于有一个守卫(可能Semaphore在你的 s 内部使用Callable一个只会让你的全局Executor任务相互等待,所以你必须要么

  • 使用一些外部逻辑来确保任何时候只有 5 个作业正在运行,这本身就可以提交Callable给您的作业Executor。这可以通过用某种逻辑包装您的下载作业来完成,一旦一个作业完成,该逻辑将从队列中提取下一个作业(包含 URL 或其他内容)。然后,您向您提交其中五个“排空下载队列”作业Executor并称其完成。但尽管我是非典型,但我只是
  • 使用单独的Executor下载。这还使您能够适当地命名线程(在Executors中ThreadFactory),这可能有助于调试并进行良好的线程转储。