如何正确地pickle一个namedtuple实例

Question

我正在学习如何使用泡菜.我创建了一个namedtuple对象,将其附加到列表中,并试图挑选该列表.但是,我收到以下错误:

pickle.PicklingError: Can't pickle <class '__main__.P'>: it's not found as __main__.P

我发现,如果我运行代码而不将其包装在函数中,它就可以完美地运行.在函数内部包装时,是否需要额外的步骤来腌制对象？

这是我的代码:

from collections import namedtuple
import pickle

def pickle_test():
    P = namedtuple("P", "one two three four")
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    f = open('abe.pickle', 'w')
    pickle.dump(abe, f)
    f.close()

pickle_test()

Answer 1

在函数外部创建命名元组:

from collections import namedtuple
import pickle

P = namedtuple("P", "one two three four")

def pickle_test():
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    f = open('abe.pickle', 'w')
    pickle.dump(abe, f)
    f.close()

pickle_test()

现在pickle可以找到它; 它现在是一个全球模块.当拆开时,所有pickle模块要做的就是__main__.P再次定位.在您的版本中,P是本地的,pickle_test()功能的,并且不是内省的或可导入的.

重要的是要记住,这namedtuple()是一个班级工厂; 你给它参数,它返回一个类对象,你可以从中创建实例.pickle仅存储实例中包含的数据,以及对原始类的字符串引用,以再次重构实例.

Answer 2

在我将问题添加为对主要答案的评论之后,我找到了一种方法来解决制作动态创建的namedtuplepickle-able的问题.这在我的情况下是必需的,因为我只在运行时(在数据库查询之后)确定其字段.

我要做的就是猴子打补丁的namedtuple通过有效地将其移动到__main__模块:

def _CreateNamedOnMain(*args):
    import __main__
    namedtupleClass = collections.namedtuple(*args)
    setattr(__main__, namedtupleClass.__name__, namedtupleClass)
    namedtupleClass.__module__ = "__main__"
    return namedtupleClass

请注意,如果您不小心,namedtuple名称(由其提供args)可能会覆盖其他成员__main__.

Answer 3

或者，您可以使用cloudpickle或dill进行序列化：

from collections import namedtuple

import cloudpickle
import dill



def dill_test(dynamic_names):
    P = namedtuple('P', dynamic_names)
    my_list = []
    abe = P("abraham", "lincoln", "vampire", "hunter")
    my_list.append(abe)
    with open('deleteme.cloudpickle', 'wb') as f:
        cloudpickle.dump(abe, f)
    with open('deleteme.dill', 'wb') as f:
        dill.dump(abe, f)


dill_test("one two three four")

Answer 4

我在另一个线程中找到了这个答案。这就是命名元组的命名。这对我有用：

group_t =            namedtuple('group_t', 'field1, field2')  # this will work
mismatched_group_t = namedtuple('group_t', 'field1, field2')  # this will throw the error