命名元组实例的酸洗正常成功，但在模块被 Cythonized 时失败

Question

我在一个模块中定义了一个 namedtuple 类型，该模块由两个类 foo 和 bar 组成，在模块的唯一文件mod.py. 我能够毫无问题地创建 foo 和 bar 的实例并腌制它们。我现在正在尝试对它进行 Cythonize，以便我可以将模块作为字节码分发。

模块文件结构如下所示：

./mod.pyx
./setup.py
./demo.py

‘mod.pyx’的内容是：

import collections

foo = collections.namedtuple('foo', 'A B')

class bar:

    def __init__(self,A,B):
        self.A = A
        self.B = B

内容setup.py为：

from distutils.core import setup
from distutils.extension import Extension
from Cython.Build import cythonize

setup( 
      ext_modules= cythonize([Extension('mod', ['mod.pyx'])])
)

我使用命令 cythonize 它python setup.py build_ext --inplace创建编译的模块文件：

./mod.cp37-win_amd64.pyd

运行以下demo.py：

import mod, pickle
ham = mod.foo(1,2)
spam = mod.bar(1,2)

print(pickle.dumps(spam))
print(pickle.dumps(ham))

成功腌制spamclass 的实例bar，但失败ham了 namedtuple 的实例foo，并显示错误消息：

PicklingError: Can't pickle <class 'importlib._bootstrap.foo'>: attribute lookup foo on importlib._bootstrap failed

如果重要的话，这一切都在 Python 3.7 中完成。似乎 Pickle 再也找不到 的类定义mod.foo，即使 Python 能够毫无问题地创建实例。我知道 namedtuple 在它返回的类的命名方面有一些奇怪的行为，而且我承认我是打包 Cython 模块的相对新手。

谷歌搜索发现了一些关于 namedtuples 和 Cython 的已知问题，所以我想知道这是否可能是已知问题的一部分，或者我是否只是错误地打包了我的模块。

Answer 1

为了pickle工作，属性__module__的的foo型必须设置和应mod。

namedtuple使用技巧/启发式（即在 中查找sys._getframe(1).f_globals）来获取此信息：

def namedtuple(typename, field_names, *, rename=False, defaults=None, module=None):
    ...
    # For pickling to work, the __module__ variable needs to be set to the frame
    # where the named tuple is created.  Bypass this step in environments where
    # sys._getframe is not defined (Jython for example) or sys._getframe is not
    # defined for arguments greater than 0 (IronPython), or where the user has
    # specified a particular module.
    if module is None:
        try:
            module = _sys._getframe(1).f_globals.get('__name__', '__main__')
        except (AttributeError, ValueError):
            pass
    if module is not None:
        result.__module__ = module
    ...

Cython 或 C 扩展的问题在于，这种启发式方法将不起作用并且_sys._getframe(1).f_globals.get('__name__', '__main__')会产生，importlib._bootstrap而不是mod。

要解决此问题，您需要将正确的module-name传递给namedtuple-factory（如代码注释中指出的那样），即：

foo = collections.namedtuple('foo', 'A B', module='mod')

或者让它更通用：

foo = collections.namedtuple('foo', 'A B', module=__name__)

现在，导入后，foo.__module__是mod因为预期pickle和ham可腌制。

顺便说一下，bar函数的酸洗，因为 Cython在构造类时显式设置了正确的__module__属性（即mod）。