最小化Java进程中的应用程序数据内存开销

Question

我需要在内存中存储大量数据(对象)(用于计算).
由于计算是基于此数据完成的,因此所有数据都将驻留在同一JVM进程内存中至关重要.
大多数数据将从字符串,整数和其他子对象(集合,哈希集等)构建.
由于Java的对象内存开销很大(字符串是UTF-16,每个对象有8个字节的开销)我正在寻找能够以较低的开销将这些数据存储在内存中的库.
我读过有关减少记忆的有趣文章:
*http://www.cs.virginia.edu/kim/publicity/pldi09tutorials/memory-efficient-java-tutorial.pdf *http://blog.griddynamics.com/2010 /01/java-tricks-reducing-memory-consumption.html

我只是想知道是否有一些库用于这种情况,或者我需要从头开始.
为了更好地理解我的需求,想象一个处理大量记录并需要根据存储在内存中的数百万条其他记录(高处理速率)来分析它们的服务器.

Answer 1

对于收集开销有一个看看特洛伊 - 他们的内存开销低于内置的Collections类(特别是对于JDK基于地图的地图和集合).
如果您有大型对象,可能值得将它们"序列化"保存为一些紧凑的二进制表示(而不是Java序列化)并在需要时反序列化回完整的对象)
您还可以使用可以分页到磁盘的缓存库？看看infinispan或ehcache.此外,其中一些库(其中包括ehcache,如果内存服务)提供"堆外存储"作为jvm进程的一部分 - 一块不受(本机)库管理的GC的内存.如果你有一个有效的二进制表示,你可以将它存储在那里(不会降低你的脚踏,但可能会使GC表现更好)