将pandas写入HDF5时是否可以指定pickle协议？

Question

有没有办法告诉 Pandas在编写 HDF5 文件时使用特定的 pickle 协议（例如 4）？

这是情况（大大简化）：

• 客户端 A 正在使用python=3.8.1（以及pandas=1.0.0和pytables=3.6.1）。A 使用df.to_hdf(file, key).

• 客户端 B 正在使用python=3.7.1（并且，正如它发生的那样，pandas=0.25.1并且 --pytables=3.5.2但这无关紧要）。B 尝试使用 读取 A 写入的数据pd.read_hdf(file, key)，但失败并显示ValueError: unsupported pickle protocol: 5。

请注意，这不会发生在纯数字的 DataFrame 中（例如pd.DataFrame(np.random.normal(size=(10,10))). 所以这是一个可重复的示例：

(base) $ conda activate py38
(py38) $ python
Python 3.8.1 (default, Jan  8 2020, 22:29:32)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas as pd
>>> df = pd.DataFrame(['hello', 'world']))
>>> df.to_hdf('foo', 'x')
>>> exit()
(py38) $ conda deactivate
(base) $ python
Python 3.7.4 (default, Aug 13 2019, 20:35:49)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas as pd
>>> df = pd.read_hdf('foo', 'x')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 407, in read_hdf
    return store.select(key, auto_close=auto_close, **kwargs)
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 782, in select
    return it.get_result()
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 1639, in get_result
    results = self.func(self.start, self.stop, where)
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 766, in func
    return s.read(start=_start, stop=_stop, where=_where, columns=columns)
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 3206, in read
    "block{idx}_values".format(idx=i), start=_start, stop=_stop
  File "/opt/anaconda3/lib/python3.7/site-packages/pandas/io/pytables.py", line 2737, in read_array
    ret = node[0][start:stop]
  File "/opt/anaconda3/lib/python3.7/site-packages/tables/vlarray.py", line 681, in __getitem__
    return self.read(start, stop, step)[0]
  File "/opt/anaconda3/lib/python3.7/site-packages/tables/vlarray.py", line 825, in read
    outlistarr = [atom.fromarray(arr) for arr in listarr]
  File "/opt/anaconda3/lib/python3.7/site-packages/tables/vlarray.py", line 825, in <listcomp>
    outlistarr = [atom.fromarray(arr) for arr in listarr]
  File "/opt/anaconda3/lib/python3.7/site-packages/tables/atom.py", line 1227, in fromarray
    return six.moves.cPickle.loads(array.tostring())
ValueError: unsupported pickle protocol: 5
>>>

注：我也尝试使用阅读pandas=1.0.0（和pytables=3.6.1中）python=3.7.4。这也失败了，所以我相信这只是导致问题的 Python 版本（3.8 writer vs 3.7 reader）。这是有道理的，因为泡菜协议 5 是作为Python 3.8 的PEP-574引入的。

Answer 1

更新：我错误地认为这是不可能的。事实上，基于 @PiotrJurkiewicz 出色的“猴子补丁”建议，这里有一个简单的上下文管理器，可以让我们暂时更改最高的 pickle 协议。它：

1. 隐藏猴子补丁，并且
2. 在上下文之外没有副作用；它可以随时使用，无论 pickle 之前是否导入过，无论是在 pandas 之前还是之后。

这是代码（例如在文件中pickle_prot.py）：

import importlib
import pickle


class PickleProtocol:
    def __init__(self, level):
        self.previous = pickle.HIGHEST_PROTOCOL
        self.level = level

    def __enter__(self):
        importlib.reload(pickle)
        pickle.HIGHEST_PROTOCOL = self.level

    def __exit__(self, *exc):
        importlib.reload(pickle)
        pickle.HIGHEST_PROTOCOL = self.previous


def pickle_protocol(level):
    return PickleProtocol(level)

作家中的用法示例：

import pandas as pd
from pickle_prot import pickle_protocol


pd.DataFrame(['hello', 'world']).to_hdf('foo_0.h5', 'x')

with pickle_protocol(4):
    pd.DataFrame(['hello', 'world']).to_hdf('foo_1.h5', 'x')

pd.DataFrame(['hello', 'world']).to_hdf('foo_2.h5', 'x')

并且，使用一个简单的测试阅读器：

import pandas as pd
from glob import glob

for filename in sorted(glob('foo_*.h5')):
    try:
        df = pd.read_hdf(filename, 'x')
        print(f'could read {filename}')
    except Exception as e:
        print(f'failed on {filename}: {e}')

现在，尝试在 py38 中写入后在 py37 中读取，我们得到：

failed on foo_0.h5: unsupported pickle protocol: 5
could read foo_1.h5
failed on foo_2.h5: unsupported pickle protocol: 5

但是，使用相同的版本（37或38）进行读写，我们当然也不例外。

注意：问题 33087仍在 Pandas 问题跟踪器上。

Answer 2

PyTable 默认使用最高协议，这里硬编码：https : //github.com/PyTables/PyTables/blob/50dc721ab50b56e494a5657e9c8da71776e9f358/tables/atom.py#L1216

作为一种解决方法，您可以pickle在编写 HDF 文件的客户端 A 上修补模块。你应该在导入之前这样做pandas：

import pickle
pickle.HIGHEST_PROTOCOL = 4
import pandas

df.to_hdf(file, key)

现在 HDF 文件是使用 pickle 协议版本 4 而不是版本 5 创建的。