我需要编写一个批处理作业,该作业从数据库表中获取行并基于某些条件,写入其他表或使用特定值更新此行.我们使用spring和jdbc来获取结果集,并使用计划每周运行的独立java程序迭代并处理记录.我知道这不是正确的方法,但我们必须将其作为临时解决方案.随着记录增长到数百万,我们最终会出现内存异常,所以我知道这不是最好的方法.
你们中的任何人都可以推荐一种处理这种情况的最佳方法吗？
使用线程并为每个线程获取1000条记录并并行处理它们？
(要么)
使用任何其他批处理机制来执行此操作(我知道有弹簧批但从未使用过此)
(要么)
还有其他想法吗？