我在扭曲的python中使用基于事件循环的服务器来存储文件,我希望能够根据文件的可压缩性对文件进行分类.
如果他们从压缩中受益的概率很高,他们会转到打开btrfs压缩的目录,否则他们会去其他地方.
我不需要确定 - 80%的准确度会很多,并且可以节省大量的磁盘空间.但由于CPU和fs性能问题也存在,我不能只保存压缩的所有内容.
文件是低兆字节.我不能在不使用大量CPU并且过度延迟事件循环或重构压缩算法以适应事件循环的情况下对它们进行测试压缩.
是否有任何最佳做法可以快速估算可压缩性？我想到的是从文件开头拿出一小块(几KB)数据,对其进行测试压缩(可能是可以容忍的延迟)并根据该决定做出决定.
有什么建议？提示？我的推理和/或问题存在缺陷？