python dict set min_size

Question

我正在解析数以亿计的JSON记录,并将每个记录中的相关组件存储在一个dict.问题在于,由于我正在处理的记录数量,python被迫dict多次增加底层哈希表的大小.这导致必须重新散列大量数据.大量的重复本身似乎耗费了大量时间.因此,我想知道是否有办法在dict底层哈希表上设置最小大小,以便最小化调整大小操作的数量.

我已经从优化python中读到了这个dict,从这个问题的答案,但无法找到如何更改dict哈希表的初始大小.如果有人能帮我解决这个问题,我将非常感激.

谢谢

Answer 1

如果你这样做：

a = dict.fromkeys(range(n))

它将强制字典大小容纳 n 个项目。之后速度很快，但需要 3 秒才能完成。