有没有办法使用pd.to_feather附加到.feather格式文件?
我也很好奇是否有人知道最大文件大小方面的一些限制,以及在读取.feather文件时是否可以查询某些特定数据(例如读取日期> 2017-03-31的行) ").
我喜欢能够存储我的数据帧和分类数据的想法.
不幸的是,羽毛和镶木地板都是面向柱状的文件。这意味着您无法“追加”,因为这仅适用于面向行的文件格式。如果您想使用镶木地板或羽毛,您可以考虑的替代方法是对文件进行分区。例如,如果您的数据不会更改,并且每天生成一次,则您可以根据日期进行写入和分区。它在读取和写入文件时确实会产生一些开销,但可能比每次重写整个文件更好。
由于它是列格式,因此您也无法查询和仅读取日期>2017-01-01 的行,parquet 的优势在于您只能读取分析所需的列.
| 归档时间: |
|
| 查看次数: |
1187 次 |
| 最近记录: |