我正在尝试编写代码,该代码将从一组命名my_file_*.csv为 Dask 数据帧的 CSV 中读取。
my_file_*.csv
然后我想根据 CSV 的长度设置分区。我试图在每个分区上映射一个函数,为了做到这一点,每个分区必须是整个 CSV。
我尝试重置索引,然后根据每个 CSV 的长度设置分区,但看起来 Dask 数据帧的索引不是唯一的。
有没有更好的方法根据每个 CSV 的长度进行分区?
python csv distributed dask
csv ×1
dask ×1
distributed ×1
python ×1