小编abc*_*efg的帖子

Dask读取CSV,将分区设置为CSV长度

我正在尝试编写代码,该代码将从一组命名my_file_*.csv为 Dask 数据帧的 CSV 中读取。

然后我想根据 CSV 的长度设置分区。我试图在每个分区上映射一个函数,为了做到这一点,每个分区必须是整个 CSV。

我尝试重置索引,然后根据每个 CSV 的长度设置分区,但看起来 Dask 数据帧的索引不是唯一的。

有没有更好的方法根据每个 CSV 的长度进行分区?

python csv distributed dask

5
推荐指数
1
解决办法
4159
查看次数

标签 统计

csv ×1

dask ×1

distributed ×1

python ×1