从Python 文档:
默认情况下,pickle 数据格式使用相对紧凑的二进制表示。如果您需要最佳大小特征,您可以有效地压缩腌制数据。
我将在运行几个小时的进程结束时序列化几 GB 的数据,我希望结果在磁盘上尽可能小。然而,Python 提供了几种不同的方式来压缩数据。
是否有其中一种对腌制文件特别有效?我正在酸洗的数据主要由嵌套字典和字符串组成,所以如果有更有效的方法来压缩例如 JSON,那也可以。
压缩和解压缩的时间并不重要,但此过程生成数据所需的时间使反复试验不方便。
python compression serialization pickle
compression ×1
pickle ×1
python ×1
serialization ×1