collections.defaultdict是线程安全的吗？

Question

我根本没有使用Python中的线程,并且认为这个问题是一个完全陌生的问题.

我想知道是否defaultdict是线程安全的.让我来解释一下:

我有

d = defaultdict(list)

默认情况下会创建缺失键列表.假设我有多个线程同时开始执行此操作:

d['key'].append('value')

最后,我应该最终结束['value', 'value'].但是,如果defaultdict不是线程安全的,如果线程1在检查之后和之前 产生线程2,它将导致交错,而另一个线程将创建列表并且可能附加.if 'key' in dictd['key'] = default_factory()d['key']'value'

然后当线程1再次执行时,它将继续从中d['key'] = default_factory()破坏现有的列表和值,我们将最终进入['key'].

我查看了defaultdict的CPython源代码.但是,我找不到任何锁或互斥锁.我想只要记录在案,它就不是线程安全的.

有些人昨晚在IRC上表示Python上有GIL,所以它在概念上是线程安全的.有人说线程不应该在Python中完成.我很困惑.想法？

Answer 1

在这种特定情况下,它是线程安全的.

要知道在Python切换线程时理解为什么很重要.CPython只允许在Python字节码步骤之间切换线程.这就是GIL的用武之地; 每N字节代码指令释放一次锁,并且可以进行线程切换.

该d['key']代码是由一个字节码(处理BINARY_SUBSCR)触发.__getitem__()被称为在字典方法.

甲defaultdict,与被配置list为默认值工厂,处理dict.__getitem__()方法完全在C,和所述GIL是从未解锁,使得dict[key]查找线程安全的.

注意那里的资格; 如果你创建一个defaultdict具有不同默认值工厂的实例,一个使用Python代码lambda: [1, 2, 3]的实例(例如),所有的注意都被关闭,因为这意味着C代码回调到Python代码,并且在执行字节码时可以再次释放GIL该lambda功能.类似地,如果工厂是用显式释放GIL的C代码编写的,则可以进行线程切换,并且线程安全性不在窗口内.