如何将 Pandas DataFrame 转换为 Huggingface Dataset 对象？

Question

我有以下 df：

import pandas as pd
df = pd.DataFrame({"foo": ["bar", "baz"]})

如何转换为 Huggingface 数据集？

Answer 1

datasets 有一个简单的方法将 pandas 数据帧转换为 Hugginface 数据集：

from datasets import Dataset
dataset = Dataset.from_pandas(df)

# if you want to go back to a pandas dataframe
df = dataset.to_pandas()

更多信息在这里：https ://huggingface.co/docs/datasets/main/en/loading#inmemory-data