小编Dra*_*nis的帖子

压缩序列化 Python 数据的最节省空间的方法是什么?

Python 文档

默认情况下,pickle 数据格式使用相对紧凑的二进制表示。如果您需要最佳大小特征,您可以有效地压缩腌制数据。

我将在运行几个小时的进程结束时序列化几 GB 的数据,我希望结果在磁盘上尽可能小。然而,Python 提供了几种不同的方式来压缩数据

是否有其中一种对腌制文件特别有效?我正在酸洗的数据主要由嵌套字典和字符串组成,所以如果有更有效的方法来压缩例如 JSON,那也可以。

压缩和解压缩的时间并不重要,但此过程生成数据所需的时间使反复试验不方便。

python compression serialization pickle

8
推荐指数
2
解决办法
4269
查看次数

哪个需要更少的内存,一个frozenset 还是一个元组?

我有一个需要用 0-3 个字符串“标记”的对象(一组 20 个可能的字符串);这些值都是唯一的,顺序无关紧要。唯一需要对标签进行的操作是检查特定标签是否存在 ( specific_value in self.tags)。

但是,内存中同时存在大量这些对象,以至于它超出了我旧计算机 RAM 的极限。所以节省几个字节可以加起来。

每个对象上的标签很少,我怀疑查找时间会很重要。但是:在这里使用元组和frozenset 之间是否存在内存差异?是否有任何其他真正的理由使用一个而不是另一个?

python memory-management tuples frozenset

5
推荐指数
1
解决办法
466
查看次数