从字典创建 dask 数据框

Question

我有一本这样的字典：

d = {'Caps': 'cap_list', 'Term': 'unique_tokens', 'LocalFreq': 'local_freq_list','CorpusFreq': 'corpus_freq_list'}

我想从中创建一个 dask 数据框。我该怎么做？通常，在 Pandas 中，可以通过以下方式轻松地将 is 导入到 Pandas df 中：

df = pd.DataFrame({'Caps': cap_list, 'Term': unique_tokens, 'LocalFreq': local_freq_list,
                               'CorpusFreq': corpus_freq_list})

我应该先加载到包中，然后从包转换为 ddf 吗？

Answer 1

如果您的数据适合内存，那么我鼓励您使用 Pandas 而不是 Dask Dataframe。

如果由于某种原因您仍然想使用 Dask 数据框，那么我会将其转换为 Pandas 数据框，然后使用该dask.dataframe.from_pandas函数。

import dask.dataframe as dd
import pandas as pd

df = pd.DataFrame(...)
ddf = dd.from_pandas(df, npartitions=20)

但在很多情况下，这会比仅仅使用 Pandas 慢。