在迭代期间更改python序列大小

Question

这里实现的bytes.join方法包括在迭代期间防止大小更改的代码:

    if (seqlen != PySequence_Fast_GET_SIZE(seq)) {
        PyErr_SetString(PyExc_RuntimeError,
                        "sequence changed size during iteration");
        goto error;
    }

如何修改bytes.join调用内部的可迭代序列以及为什么上述代码是必要的？或者它可能没有必要和冗余？

Answer 1

如果传入列表对象bytes.join(),则可能会在bytes.join()调用迭代时将元素添加到另一个线程的列表中.

该bytes.join()方法必须在序列上进行两次传递; 一次计算所bytes包含对象的总长度,第二次再构建实际的输出bytes对象.在迭代它时改变项目数量会使扳手进入该计算.

由于GIL未发布,您通常无法对列表执行此操作,但如果列表中的任何 bytes对象不是对象,则使用缓冲区协议.正如对原始补丁的评论所述:

您的方法的问题是,当另一个线程正在运行时,序列可能会发生变异(_getbuffer()可能会释放GIL).然后预先计算的大小出错.