我有一个dask数据框,其中一列具有索引。问题是,如果我执行df.head(),则它总是调出一个空的df,而df.tail总是返回正确的df。我检查了df.head总是检查第一个分区中的前n个条目。所以,如果我做df.reset_index(),它应该可以工作,但事实并非如此
下面是重现此代码:
import dask.dataframe as dd
import pandas as pd
data = pd.DataFrame({
'i64': np.arange(1000, dtype=np.int64),
'Ii32': np.arange(1000, dtype=np.int32),
'bhello': np.random.choice(['hello', 'Yo', 'people'], size=1000).astype("O")
})
Run Code Online (Sandbox Code Playgroud)
daskDf = dd.from_pandas(data, chunksize=3)
daskDf = daskDf.set_index('bhello')
print(daskDf.head())
Run Code Online (Sandbox Code Playgroud)
尝试调用head同npartitions=-1,使用所有分区(默认情况下,只有第一个被使用,可能没有足够的元素返回head)。
daskDf.head(npartitions=-1)
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
1302 次 |
| 最近记录: |