从 Pandas 到 Polars 的数据帧转换——最终尺寸的差异

Question

我正在尝试将 Pandas Dataframe 转换为 Polar Dataframe。

我只是简单地使用了该功能result_polars = pl.from_pandas(result)。转换进展顺利，但是当我检查两个数据帧的形状时，我发现 Polars 数据帧的大小是原始 Pandas 数据帧的一半。

我相信长度 4172903059 几乎是极坐标数据帧允许的最大尺寸。

有人有建议吗？

这是两个数据框形状的屏幕截图。

这是一个最小工作示例

import polars as pl
import pandas as pd
import numpy as np

df = pd.DataFrame(np.zeros((4292903069,1), dtype=np.uint8))
df_polars = pl.from_pandas(df)

使用这些维度，两个数据框具有相同的大小。如果我输入以下内容：

import polars as pl
import pandas as pd
import numpy as np

df = pd.DataFrame(np.zeros((4392903069,1), dtype=np.uint8))
df_polars = pl.from_pandas(df)

Polars 数据框的尺寸要小得多 (97935773)。

Answer 1

使用“only”检索的默认极坐标轮pip install polars允许 2^32，例如约 42 亿行。

您是否需要更多安装pip install polars-u64-idx和卸载以前的安装。