将多个Python子解释器嵌入到C程序中

Question

我正在编写一个生成多个C线程的C程序，每个线程一个Python子解释器。子解释器不共享任何可变的Python变量，它们彼此隔离。（它们确实对从C程序的main（）函数公开的公共PyObject（不可变）具有只读访问权限）。

在子解释器之间不共享GIL的情况下，是否可以在Python 3.7或3.8中实现？

这是我一直在尝试的伪代码：

void *spawnInterpreter(void* p) {
    …
    PyThreadState* save_tstate = PyThreadState_Swap(NULL);
    PyThreadState* tstate = Py_NewInterpreter();
    PyThreadState_Swap(save_tstate);

    //do some Python work (with variables that are NOT shared with other thread’s sub-interpreter
    PyRun_SimpleString( . . .);
    . . . 
}


int main() {
...
    pthread_create(&thread1, NULL, spawnInterpreter,  “in1”);
    pthread_create(&thread2, NULL, spawnInterpreter, "in2");
...
}

我可以使它在3.6中工作（无需获取GIL或PyThreadState在C线程中进行管理），但是在Python 3.7中，我得到了：

[New Thread 0x7ffff5f78700 (LWP 16392)]
Fatal Python error: drop_gil: GIL is not locked

Answer 1

不幸的是，子解释器仍然在3.7和3.8中共享GIL。这是我个人正在努力进行的工作。请参阅PEP 554和我的多核Python项目。我还将在下周的PyCon上进行演讲，详细讨论该主题。

我希望能够在Python 3.8中实现这一点，但是目前看来3.9的可能性更大。主要挑战是C-API和CPython运行时不是线程安全的。虽然大多数C-API和运行时都可以切换为使用按解释器的GIL，但在这种情况下，其他事情将不得不更改：

• 某些过程全局资源必须在没有GIL的情况下进行更仔细的管理（例如env vars，文件句柄）
• 有全球运行时状态口译员必须继续分享，让很多仍然必须通过一个全局锁来保护（尽管这会不会需要阻止了Python字节码EVAL环）
• 需要将某些全局运行时状态下移至每个解释器状态（例如，GC，内存分配器，警告）
• 对象必须严格按解释器进行（现在），因此C-API必须严格禁止对象越过解释器边界
• 非特定于解释器上下文的C-API部分必须更改为不再需要持有GIL

这个问题很容易解决，但是在处理此类关键代码时需要花费一些时间来采取必要的措施。因此可能的目标是3.9。

无论如何，我很感谢您在这里发布。我的大部分努力都集中在对Python代码的影响上，而不是C-API（例如，嵌入程序）上。因此，有关我的项目如何通过C-API与子解释器的使用相关的反馈非常有用。例如，您让我想起的一件事是，通过C-API创建子解释器与PEP 554中的等效方法略有不同。需要更仔细地考虑这一点。同样，PEP 554在C-API中几乎没有公开任何添加。可能没关系，但在短期内与C-API中的渠道进行交互可能很有价值。