将 Redis Streams 输出转换为 Pandas Dataframe

Question

将Redis 流输出（aioredis 客户端/hiredis 解析器）转换为 Pandas 数据帧的最快方法是什么，其中 Redis 流 ID\xe2\x80\x98s 时间戳和序列号以及值是正确类型转换的 Pandas 索引列？

\n\n

Redis 输出示例：

\n\n

[[b\'1554900384437-0\', [b\'key\', b\'1\']], \n[b\'1554900414434-0\', [b\'key\', b\'1\']]]\n

\n

Answer 1

这里似乎有两个主要瓶颈：

1. Pandas DataFrames 以列主格式存储数据，这意味着每一列映射到一个 numpy 数组，而 Redis 流数据是逐行的。

2. Pandas MultiIndex 是为分类数据而设计的，将原始数组转换为所需的级别/代码结构似乎没有优化

由于第一点，循环所有 Redis 流条目是不可避免的。假设我们事先知道长度，我们可以预先分配我们填充的 numpy 数组，并通过一些技巧将这些数组重用为 DataFrame 列。如果 Python 中循环的开销仍然太大，那么用 Cython 重写应该很简单。

由于您没有指定数据类型，因此答案使用 numpy.object 数组将所有内容以字节为单位，因此如何适应自定义设置应该是相当明显的。将所有列放在同一个数组中的唯一原因是将列/字段上的内部循环从 Python 移至 C。它可以分为例如每种数据类型一个数组或每列一个数组。

from functools import partial, reduce
import numpy as np
import pandas as pd

data = [[b'1554900384437-0', [b'foo', b'1', b'bar', b'2', b'bla', b'abc']], 
[b'1554900414434-0', [b'foo', b'3', b'bar', b'4', b'bla', b'xyz']]]

colnames = data[0][1][0::2]
ncols = len(colnames)
nrows = len(data)
ts_seq = np.empty((2, nrows), dtype=np.int64)
cols = np.empty((ncols, nrows), dtype=np.object)

for i,(id,fields) in enumerate(data):
    ts, seq = id.split(b"-", 2)
    ts_seq[:, i] = (int(ts), int(seq))
    cols[:, i] = fields[1::2]

colframes = [pd.DataFrame(cols[i:i+1, :].T) for i in range(ncols)]
merge = partial(pd.merge, left_index=True, right_index=True, copy=False)
df = reduce(merge, colframes[1:], colframes[0])
df.columns = colnames

对于数字 2，我们可以用来numpy.unique创建 Pandas MultiIndex 所需的级别/代码结构。从文档来看，似乎numpy.unique也对数据进行了排序。由于我们的数据可能已经排序，因此未来可能的优化是尝试跳过排序步骤。

ts = ts_seq[0, :]
seq = ts_seq[1, :]
maxseq = np.max(seq)
ts_levels, ts_codes = np.unique(ts, return_inverse=True)
seq_levels = np.arange(maxseq+1)
seq_codes = seq
df.index = pd.MultiIndex(levels=[ts_levels, seq_levels], codes=[ts_codes, seq_codes], names=["Timestamp", "Seq"])

最后，我们可以通过执行以下操作来验证没有涉及复制

cols[0, 0] = b'79'

并检查中的条目df确实发生了变化。