更快:内存中解压缩或访问HDD中的未压缩数据

Question

我的数据集大于主内存.压缩后,它适合内存.但是,内存中的解压缩是一种计算密集型的.与访问硬盘驱动器中的未压缩数据相比,内存中的解压缩在完成时间方面有任何优势吗？假设来自HDD的数据将完整地加载到存储器中(即,在处理期间没有随机访问HDD).任何人之前都做过任何基准.谢谢.

Answer 1

首先,数据必须是可压缩的.如果没有压缩,那么显然压缩到HDD并解压缩将会更慢.HDD上的许多文件都不可压缩,因为它们已经被压缩,例如图像文件,视频文件,音频文件和zip或.tar.gz文件等无损压缩存档.

如果它是可压缩的,则zlib解压缩可能比HDD读取更快,并且lz4解压缩很可能更快.

这是一个经典的问题,只能通过"依赖"来正确回答,然后是"你需要根据自己的情况来衡量".