小编sen*_*nic的帖子

我必须编写一个程序,将10'000'000个实体相互比较.这些实体基本上是数据库/ csv文件中的平行.

比较算法必须非常灵活,它基于规则引擎,最终用户输入规则,每个实体与每个其他实体匹配.

我正在考虑如何将此任务拆分为较小的工作负载,但我还没有找到任何东西.由于规则是由最终用户输入的,因此预先排序DataSet似乎是不可能的.

我现在要做的是将整个DataSet放在内存中并处理每个项目.但这不是很高效,需要大约.20 GB内存(压缩).

你知道如何分割工作量或减少它的大小吗？

谢谢