小编smo*_*nky的帖子

我们有一个系统给出一批请求,对外部第三方API进行相同数量的调用.鉴于这是一个I/O绑定任务,我们目前使用大小为20的缓存线程池来为这些请求提供服务.除此之外,解决方案是:

使用具有更多内核的更少机器(更少上下文切换,能够支持更多并发线程)

要么

利用商品/廉价硬件(披萨盒)使用更多机器

我们每天收到的请求数量大约为数百万.

我们使用的是Java,因此这里的线程是内核,而不是"绿色".

其他要点/想法:

• Hadoop通常用于此类问题,但这需要实时与定型离线数据挖掘.
• API请求平均需要200毫秒到2秒
• 请求之间没有共享状态
• 有问题的第三方能够提供比我们可能解雇的更多请求(支付供应商).