使循环更快的最佳实践 - 多线程是一种选择吗？

Question

我用URL中的索引来调用Api服务; 例如,最后一个索引是:420.555.我这样做:

for(int i =0; i <= 420555;i++){
  url = new URl("https://someURL/"+ i);
  read the json with BufferedReader reader = new BufferedReader( new InputStreamReader( url.openStream(), "UTF-8" ) )) {

   create object from json
   save the result to my DB
}

表现非常糟糕.

(当然,我的数据库中有很多条目需要保存,但需要6个小时以上才能崩溃,因为JAVA VM中的内存已满)

你有什么想法,我怎么能更快地做到这一点？

如果您需要完整的代码,我可以发布它.但我认为for循环是问题......

我的想法是,使用多线程,但我从来没有工作过,我不确定这是否是这种情况的最佳实践.

当多线程是最佳实践时,你能举个例子说明这个案例吗？

Answer 1

你的代码做了:

• 从URL获取内容为json
• 做一些事情,然后将结果保存到数据库中

它按顺序执行.

所以,是的,当然,并行执行这些循环体应该可以减少总体执行时间.它对内存问题没有帮助.正如评论指出的那样,这个问题很可能是由代码中的错误引起的(例如,没有正确关闭资源).

当然,这引入了新的问题; 例如处理数据库访问的连接池.

为了添加"多个线程"; 直接的方法是将任务提交到ExecutorService中 - 例如,请参阅此处.

最后:第一个真正的答案是退后一步.似乎已经手头的任务很难让你做对了!增加复杂性可能有助于解决某些问题; 但你应该绝对首先确保你的代码是完全正确的,并加入更比一个线程件事之前,"连续模式"工作.否则,您将以较不确定但难以调试的方式快速遇到其他问题.

第二个真正的答案是:制作400K请求永远不是一个好主意.不按顺序,不是并行.现实世界的解决方案是退后一步,更改该API并允许批量读取.不要在400K请求中下载400K对象.例如,每次发出100个请求并下载4K对象.

长话短说:您真正的问题是您正在使用的API的设计.除非你改变它,否则你不是在解决你的问题,而是在解决症状.