将巨大的 Polars 数据帧转换为 dict，而不消耗太多 RAM

Question

将巨大的 Polars 数据帧转换为 dict，而不消耗太多 RAM

Bov*_*ist 1 python dictionary parquet python-polars

当我将 parquet 文件加载到 Polars DataFrame 中时，需要大约 5.5 GB 的 RAM。与我尝试过的其他选择相比，Polars 非常棒。然而，Polars 不支持创建像 Pandas 这样的索引。这对我来说很麻烦，因为我的 DataFrame 中的一列是唯一的，并且在我的应用程序中访问 df 中的数据的模式是基于唯一列（类似字典）的行查找。

由于数据帧很大，过滤成本太高。不过，我的 RAM 似乎也不够（32 GB）。我目前正在将 df 转换为“块”，如下所示：

h = df.height # number of rows
chunk_size = 1_000_000  # split each rows

b = (np.linspace(1, math.ceil(h/chunk_size), num=math.ceil(h/chunk_size)))
new_col = (np.repeat(b, chunk_size))[:-( chunk_size - (h%chunk_size))]
df = df.with_column(polars.lit(new_col).alias('new_index'))
m = df.partition_by(groups="new_index", as_dict=True)

del df
gc.collect()


my_dict = {}
for key, value in list(m.items()):
    my_dict.update(
    {
        uas: frame.select(polars.exclude("unique_col")).to_dicts()[0]
        for uas, frame in
        (
            value
            .drop("new_index")
            .unique(subset=["unique_col"], keep='last')
            .partition_by(groups=["unique_col"],
                          as_dict=True,
                          maintain_order=True)
        ).items()
    }
    )
    m.pop(key)

Run Code Online (Sandbox Code Playgroud)

RAM消耗似乎没有太大变化。另外，我收到一条错误消息，指出字典大小在迭代过程中发生了变化（true）。但我能做什么呢？获得更多内存是唯一的选择吗？

Answer 1

ΩΠΟ*_*ΝΟΣ 6

\n
当我将 parquet 文件加载到 Polars DataFrame 中时，需要大约 5.5 GB 的 RAM。与我尝试过的其他选择相比，Polars 非常棒。然而，Polars 不支持创建像 Pandas 这样的索引。这对我来说很麻烦，因为我的 DataFrame 中的一列是唯一的，并且在我的应用程序中访问 df 中的数据的模式是基于唯一列（类似字典）的行查找。
\n

\n

\n
由于 DataFrame 很大，过滤成本太高。
\n

\n

让我们看看我是否能提供帮助。可能有一些方法可以在不分区 DataFrame 的情况下获得出色的性能。

\n

首先，一些数据

\n

首先，让我们创建一个非常大的数据集并进行一些计时。下面的代码是我在其他情况下用来创建任意大小的数据集的代码。在本例中，我将创建一个 RAM 为 400 GB 的数据集。（我有一个 32 核系统，512 GB RAM。）

\n

创建数据框后，我将set_sorted在col_0. （顺便说一下，创建数据的方式，所有列均按排序顺序排列。）此外，我将shuffle col_1查看排序和非排序查找列的一些计时。

\n

import polars as pl\nimport math\nimport time\n\nmem_in_GB = 400\ndef mem_squash(mem_size_GB: int) -> pl.DataFrame:\n    nbr_uint64 = mem_size_GB * (2**30) / 8\n    nbr_cols = math.ceil(nbr_uint64 ** (0.15))\n    nbr_rows = math.ceil(nbr_uint64 / nbr_cols)\n\n    return pl.DataFrame(\n        data={\n            "col_" + str(col_nbr): pl.arange(0, nbr_rows, eager=True)\n            for col_nbr in range(nbr_cols)\n        }\n    )\n\n\ndf = mem_squash(mem_in_GB)\ndf = df.with_columns([\n    pl.col(\'col_0\').set_sorted(),\n    pl.col(\'col_1\').shuffle(),\n])\ndf.estimated_size(\'gb\')\ndf\n

Run Code Online (Sandbox Code Playgroud)\n

>>> df.estimated_size(\'gb\')\n400.0000000670552\n

Run Code Online (Sandbox Code Playgroud)\n

>>> df\nshape: (1309441249, 41)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 col_0      \xe2\x94\x86 col_1     \xe2\x94\x86 col_2      \xe2\x94\x86 col_3      \xe2\x94\x86 ... \xe2\x94\x86 col_37     \xe2\x94\x86 col_38     \xe2\x94\x86 col_39     \xe2\x94\x86 col_40     \xe2\x94\x82\n\xe2\x94\x82 ---        \xe2\x94\x86 ---       \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86     \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x82\n\xe2\x94\x82 i64        \xe2\x94\x86 i64       \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86     \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x82\n\xe2\x95\x9e\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xa1\n\xe2\x94\x82 0          \xe2\x94\x86 438030034 \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 ... \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x82\n\xe2\x94\x82 1          \xe2\x94\x86 694387471 \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 ... \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x82\n\xe2\x94\x82 2          \xe2\x94\x86 669976383 \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 ... \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x82\n\xe2\x94\x82 3          \xe2\x94\x86 771482771 \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 ... \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x82\n\xe2\x94\x82 ...        \xe2\x94\x86 ...       \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ... \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x82\n\xe2\x94\x82 1309441245 \xe2\x94\x86 214104601 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 ... \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x82\n\xe2\x94\x82 1309441246 \xe2\x94\x86 894526083 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 ... \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x82\n\xe2\x94\x82 1309441247 \xe2\x94\x86 378223586 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 ... \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x82\n\xe2\x94\x82 1309441248 \xe2\x94\x86 520540081 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 ... \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x82\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x98\n

Run Code Online (Sandbox Code Playgroud)\n

现在我有一个包含 13 亿行的 DataFrame，它占用了 512 GB RAM 中的 400 GB。（显然，我无法在内存中复制此 DataFrame。）

\n

简单过滤

\n

现在，让我们在col_0（我使用的列set_sorted）和col_1（已打乱顺序的列）上运行一个简单的过滤器。

\n

>>> df.estimated_size(\'gb\')\n400.0000000670552\n

Run Code Online (Sandbox Code Playgroud)\n

shape: (1, 41)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 col_0     \xe2\x94\x86 col_1     \xe2\x94\x86 col_2     \xe2\x94\x86 col_3     \xe2\x94\x86 ... \xe2\x94\x86 col_37    \xe2\x94\x86 col_38    \xe2\x94\x86 col_39    \xe2\x94\x86 col_40    \xe2\x94\x82\n\xe2\x94\x82 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86     \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x82\n\xe2\x94\x82 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86     \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x82\n\xe2\x95\x9e\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xa1\n\xe2\x94\x82 106338253 \xe2\x94\x86 885386691 \xe2\x94\x86 106338253 \xe2\x94\x86 106338253 \xe2\x94\x86 ... \xe2\x94\x86 106338253 \xe2\x94\x86 106338253 \xe2\x94\x86 106338253 \xe2\x94\x86 106338253 \xe2\x94\x82\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x98\n>>> print(time.perf_counter() - start)\n0.6669054719995984\n

Run Code Online (Sandbox Code Playgroud)\n

>>> df\nshape: (1309441249, 41)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 col_0      \xe2\x94\x86 col_1     \xe2\x94\x86 col_2      \xe2\x94\x86 col_3      \xe2\x94\x86 ... \xe2\x94\x86 col_37     \xe2\x94\x86 col_38     \xe2\x94\x86 col_39     \xe2\x94\x86 col_40     \xe2\x94\x82\n\xe2\x94\x82 ---        \xe2\x94\x86 ---       \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86     \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x86 ---        \xe2\x94\x82\n\xe2\x94\x82 i64        \xe2\x94\x86 i64       \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86     \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x86 i64        \xe2\x94\x82\n\xe2\x95\x9e\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xa1\n\xe2\x94\x82 0          \xe2\x94\x86 438030034 \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 ... \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x86 0          \xe2\x94\x82\n\xe2\x94\x82 1          \xe2\x94\x86 694387471 \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 ... \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x86 1          \xe2\x94\x82\n\xe2\x94\x82 2          \xe2\x94\x86 669976383 \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 ... \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x86 2          \xe2\x94\x82\n\xe2\x94\x82 3          \xe2\x94\x86 771482771 \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 ... \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x86 3          \xe2\x94\x82\n\xe2\x94\x82 ...        \xe2\x94\x86 ...       \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ... \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x86 ...        \xe2\x94\x82\n\xe2\x94\x82 1309441245 \xe2\x94\x86 214104601 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 ... \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x86 1309441245 \xe2\x94\x82\n\xe2\x94\x82 1309441246 \xe2\x94\x86 894526083 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 ... \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x86 1309441246 \xe2\x94\x82\n\xe2\x94\x82 1309441247 \xe2\x94\x86 378223586 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 ... \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x86 1309441247 \xe2\x94\x82\n\xe2\x94\x82 1309441248 \xe2\x94\x86 520540081 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 ... \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x86 1309441248 \xe2\x94\x82\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x98\n

Run Code Online (Sandbox Code Playgroud)\n

shape: (1, 41)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 col_0     \xe2\x94\x86 col_1     \xe2\x94\x86 col_2     \xe2\x94\x86 col_3     \xe2\x94\x86 ... \xe2\x94\x86 col_37    \xe2\x94\x86 col_38    \xe2\x94\x86 col_39    \xe2\x94\x86 col_40    \xe2\x94\x82\n\xe2\x94\x82 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86     \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x86 ---       \xe2\x94\x82\n\xe2\x94\x82 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86     \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x86 i64       \xe2\x94\x82\n\xe2\x95\x9e\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xaa\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\x90\xe2\x95\xa1\n\xe2\x94\x82 889423291 \xe2\x94\x86 106338253 \xe2\x94\x86 889423291 \xe2\x94\x86 889423291 \xe2\x94\x86 ... \xe2\x94\x86 889423291 \xe2\x94\x86 889423291 \xe2\x94\x86 889423291 \xe2\x94\x86 889423291 \xe2\x94\x82\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xb4\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x98\n>>> print(time.perf_counter() - start)\n0.6410857040000337\n

Run Code Online (Sandbox Code Playgroud)\n

在这两种情况下，过滤以查找唯一列值所花费的时间不到一秒。（这适用于包含 13 亿条记录的 DataFrame。）

\n

有了这样的性能，您可能只需在应用程序中进行过滤就可以了，无需对数据进行分区。

\n

邪恶速度：`search_sorted`

\n

如果您有足够的 RAM 来按搜索列对 DataFrame 进行排序，您可能会获得令人难以置信的速度。

\n

让我们使用search_sortedon col_0（已排序），slice它只是 DataFrame 的一个窗口。

\n

start = time.perf_counter()\n(\n    df\n    .filter(pl.col(\'col_0\') == 106338253)\n)\nprint(time.perf_counter() - start)\n

Run Code Online (Sandbox Code Playgroud)\n

shape: (1, 41)\n\xe2\x94\x8c\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\xac\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x80\xe2\x94\x90\n\xe2\x94\x82 col_0     \xe2\x94\x86 col_1     \xe2\x94\x86 col_2     \xe2\x94\x86 col_3     \xe2\x94\x86 ... \xe2\x94\x86 col_37    \xe2\x94\x86 col_38    \xe2\x94\x86 col_39

归档时间：	3 年，1 月前
查看次数：	1238 次
最近记录：	3 年，1 月前

将巨大的 Polars 数据帧转换为 dict，而不消耗太多 RAM

首先，一些数据

简单过滤

邪恶速度：search_sorted

邪恶速度：`search_sorted`