use*_*616 0 python csv sqlite
baseline - 我有包含10,000个条目的CSV数据.我将其保存为1个csv文件并立即加载它.
替代 - 我有10,000个条目的CSV数据.我将其保存为10,000个CSV文件并单独加载.
计算上大约多少效率低下.我对记忆问题并不十分感兴趣.替代方法的目的是因为我经常需要访问数据的子集,并且不希望必须读取整个数组.
我正在使用python.
编辑:如果需要,我可以使用其他文件格式.
Edit1:SQLite获胜.与我以前的工作相比,简单而有效.
mvp*_*mvp 6
SQLite是您的应用程序的理想解决方案.
只需将您的CSV文件导入SQLite数据库表(它将是单个文件),然后根据需要添加索引.
要访问您的数据,请使用python sqlite3库.您可以使用本教程了解如何使用它.
与许多其他解决方案相比,SQLite将是在本地选择部分数据集的最快方式 - 当然要比访问10000个文件快得多.另请阅读这个解释为什么SQLite如此优秀的答案.
归档时间：
12 年 前
查看次数：
623 次
最近记录：