相关疑难解决方法(0)

将 pyodbc.rows 列表转换为 pandas Dataframe 需要很长时间

有没有更快的方法将 pyodbc.rows 对象转换为 pandas Dataframe?将超过 1000 万个 pyodbc.rows 对象的列表转换为 pandas 数据框大约需要 30-40 分钟。

import pyodbc
import pandas

server = <server_ip> 
database = <db_name> 
username = <db_user> 
password = <password> 
port='1443'

conn = pyodbc.connect('DRIVER={SQL Server};SERVER='+server+';PORT='+port+';DATABASE='+database+';UID='+username+';PWD='+ password)

#takes upto 12 minutes
rows = cursor.execute("select top 10000000 * from [LSLTGT].[MBR_DIM] ").fetchall() 

#Read cursor data into Pandas dataframe.....Takes forever!
df = pandas.DataFrame([tuple(t) for t in rows]) 
Run Code Online (Sandbox Code Playgroud)

python pyodbc pandas

5
推荐指数
2
解决办法
4009
查看次数

标签 统计

pandas ×1

pyodbc ×1

python ×1