Anj*_*ngi 4 python pandas feather
我正在处理一个包含超过 2000 万条记录的庞大数据集。我正在尝试将所有数据保存为羽毛格式，以便更快地访问，并在进行分析时进行附加。
有没有办法将 pandas 数据框附加到现有的羽毛格式文件中？
Feather 文件旨在一次写入。因此，附加到它们不是受支持的用例。
相反，对于如此大的数据集，我建议您使用或将数据写入单独的Apache Parquet 文件，并使用或将数据读回到 Pandas 中。这些函数可以将 Parquet 文件的集合视为单个数据集，立即读入单个 DataFrame。pyarrow.parquet.write_tablepandas.DataFrame.to_parquetpyarrow.parquet.ParquetDatasetpandas.read_parquet