如果使用pandas存在于mysql中,则插入或更新

Question

我试图将数据从xlsx文件插入到mysqdl表中.我想在表中插入数据,如果主键上有重复,我想更新现有数据,否则插入.我已经编写了脚本,但我意识到这是太多的工作,使用熊猫很快.我怎样才能在熊猫中实现它？

#!/usr/bin/env python3

import pandas as pd
import sqlalchemy

engine_str = 'mysql+pymysql://admin:mypass@localhost/mydb'
engine = sqlalchemy.create_engine(engine_str, echo=False, encoding='utf-8')\

file_name = "tmp/results.xlsx"
df = pd.read_excel(file_name)

Answer 1

我可以想到两个选项,但是数字1可能更清晰/更快:

1)让SQL决定更新/插入.检查另一个问题.你可以通过你的"东风"的行迭代,从i=1到n.在插入循环内,您可以编写如下内容:

query = """INSERT INTO table (id, name, age) VALUES(%s, %s, %s)
ON DUPLICATE KEY UPDATE name=%s, age=%s"""
engine.execute(query, (df.id[i], df.name[i], df.age[i], df.name[i], df.age[i]))

2)定义一个python返回True或False记录存在的函数,然后在循环中使用它:

def check_existence(user_id):
    query = "SELECT EXISTS (SELECT 1 FROM your_table where user_id_str = %s);"
    return list(engine.execute(query,  (user_id, ) ) )[0][0] == 1

您可以迭代行并在插入之前执行此检查

另外,也请在这个问题上的解决方案和这一个了而你的情况可能会奏效.