问题的根源很常见:
存在大量的列车数据,这些数据是以块的形式读取的.兴趣点是在分块数据集上顺序拟合所需模型,保持先前拟合的状态.
除了partial_fit()在不同数据上使用sklearn拟合模型之外,还有其他方法吗?或者是否有任何技巧来重写fit()函数代码来为这个问题定制它?还是有可能有人意识到pickle?
我想知道从pandas DataFrame到postges DB中的数据写入数据的最快方法.
1)我尝试过pandas.to_sql,但由于某种原因需要实体来复制数据,
2)除了我试过以下:
import io
f = io.StringIO()
pd.DataFrame({'a':[1,2], 'b':[3,4]}).to_csv(f)
cursor = conn.cursor()
cursor.execute('create table bbbb (a int, b int);COMMIT; ')
cursor.copy_from(f, 'bbbb', columns=('a', 'b'), sep=',')
cursor.execute("select * from bbbb;")
a = cursor.fetchall()
print(a)
cursor.close()
Run Code Online (Sandbox Code Playgroud)
但它返回空列表[].
所以我有两个问题:将数据从python代码(数据帧)复制到postgres DB的最快方法是什么?我试过的第二种方法有什么不对?