小编Hae*_*lle的帖子

似乎从CSV加载数据比使用Pandas的SQL(Postgre SQL)更快.(我有一个SSD)

这是我的测试代码:

import pandas as pd
import numpy as np

start = time.time()
df = pd.read_csv('foo.csv')
df *= 3
duration = time.time() - start
print('{0}s'.format(duration))

engine = create_engine('postgresql://user:password@host:port/schema')
start = time.time()
df = pd.read_sql_query("select * from mytable", engine)
df *= 3
duration = time.time() - start
print('{0}s'.format(duration))

foo.csv和数据库是相同的(两列中的数据和列数相同,4列,10万行,随机int).

CSV需要0.05秒

SQL需要0.5秒

您认为CSV比SQL快10倍是正常的吗？我想知道我在这里遗失了什么......