使用脚本语言即时数据库

Question

我有一组我想要处理的.csv文件.使用SQL查询处理它会容易得多.我想知道是否有某种方法可以加载.csv文件并使用SQL语言来使用像python或ruby这样的脚本语言来查看它.使用类似于ActiveRecord的东西加载它会很棒.

问题是我不想在运行脚本之前在某处运行数据库.我不需要在脚本语言和一些模块之外进行额外的安装.

我的问题是我应该使用哪种语言和哪些模块来完成这项任务.我环顾四周,找不到任何适合我需要的东西.它甚至可能吗？

Answer 1

有sqlite3,包含在python中.有了它,您可以创建一个数据库(在内存中)并向其添加行,并执行SQL查询.

如果你想要类似ActiveRecord的简洁功能,你应该添加一个外部ORM,比如sqlalchemy.这是一个单独的下载

使用sqlalchemy的快速示例:

from sqlalchemy import create_engine, Column, String, Integer, MetaData, Table
from sqlalchemy.orm import mapper, create_session
import csv
CSV_FILE = 'foo.csv'
engine = create_engine('sqlite://') # memory-only database

table = None
metadata = MetaData(bind=engine)
with open(CSV_FILE) as f:
    # assume first line is header
    cf = csv.DictReader(f, delimiter=',')
    for row in cf:
        if table is None:
            # create the table
            table = Table('foo', metadata, 
                Column('id', Integer, primary_key=True),
                *(Column(rowname, String()) for rowname in row.keys()))
            table.create()
        # insert data into the table
        table.insert().values(**row).execute()

class CsvTable(object): pass
mapper(CsvTable, table)
session = create_session(bind=engine, autocommit=False, autoflush=True)

现在您可以查询数据库,按任何字段过滤等.

假设你在这个csv上运行上面的代码:

name,age,nickname
nosklo,32,nosklo
Afila Tun,32,afilatun
Foo Bar,33,baz

这将创建并在内存中填充表的字段name,age,nickname.然后,您可以查询表:

for r in session.query(CsvTable).filter(CsvTable.age == '32'):
    print r.name, r.age, r.nickname

这将自动创建并运行SELECT查询并返回正确的行.

使用sqlalchemy的另一个好处是,如果您决定在将来使用另一个功能更强大的数据库,您可以在不更改代码的情况下进行实际操作.