相关疑难解决方法(0)

当使用pyodbc从SQL Server数据库加载超过1000万条记录时,Pandas变得非常慢,主要是函数pandas.read_sql(query,pyodbc_conn).以下代码最多需要40-45分钟才能从SQL表中加载10-15百万条记录:Table1

是否有更好更快的方法将SQL表读入pandas Dataframe？

import pyodbc
import pandas

server = <server_ip> 
database = <db_name> 
username = <db_user> 
password = <password> 
port='1443'
conn = pyodbc.connect('DRIVER={SQL Server};SERVER='+server+';PORT='+port+';DATABASE='+database+';UID='+username+';PWD='+ password)
cursor = conn.cursor()

data = pandas.read_sql("select * from Table1", conn) #Takes about 40-45 minutes to complete