作为要求的一部分,我们需要处理近300万条记录并将其与存储桶相关联.此关联由一组规则决定(包括5-15个属性,具有单个或一系列值和优先级),这些规则派生记录的存储桶.如此大数量的顺序处理显然超出了范围.有人可以指导我们有效设计解决方案的方法吗？
从数据量的角度来看,300万条记录并不是那么多(显然取决于记录大小),所以我建议最简单的尝试是跨多个线程并行处理(使用java) .util.concurrent.Executor框架).只要您有多个可用的CPU内核,您就应该能够获得接近线性的性能提升.
| 归档时间： |
|
| 查看次数： |
13840 次 |
| 最近记录： |