如何将 pandas NaT 日期时间值正确插入到我的 postgresql 表中

Question

我正在将数据帧批量插入到我的 postgres dB 中。我的数据框中的某些列是具有NaT空值的日期类型。PostgreSQL 不支持它，我尝试NaT用其他 NULL 类型标识替换（使用 pandas），但这在我的插入过程中不起作用。

我曾经df = df.where(pd.notnull(df), 'None')替换了所有NaTs，由于数据类型问题而不断出现的错误示例。

Error: invalid input syntax for type date: "None"
LINE 1: ...0,1.68757,'2022-11-30T00:29:59.679000'::timestamp,'None','20...

我的驱动程序和插入语句到 postgresql dB：

def execute_values(conn, df, table):
    """
    Using psycopg2.extras.execute_values() to insert the dataframe
    """
    # Create a list of tupples from the dataframe values
    tuples = [tuple(x) for x in df.to_numpy()]
    # Comma-separated dataframe columns
    cols = ','.join(list(df.columns))
    # SQL quert to execute
    query  = "INSERT INTO %s(%s) VALUES %%s" % (table, cols)
    cursor = conn.cursor()
    try:
        extras.execute_values(cursor, query, tuples)
        conn.commit()
    except (Exception, psycopg2.DatabaseError) as error:
        print("Error: %s" % error)
        conn.rollback()
        cursor.close()
        return 1
    print("execute_values() done")
    cursor.close()

有关我的数据框的信息：在这种情况下，罪魁祸首只是日期时间列。

这通常是如何解决的？

Answer 1

关于您原来的更新声明：
df = df.where(pd.notnull(df), 'None')

这里发生的情况是，您将这些值替换为字符串“None”，而不是特殊的 Python 对象 None。然后在下面的插入语句中，它尝试将字符串“None”插入时间戳字段并引发错误。

有趣的是，您期望工作的版本：
df = df.where(pd.notnull(df), None)
实际上对于 NaT 值来说似乎并没有按预期工作，原因我不完全理解。（参见下面的示例）

但似乎有效的是这个语句（假设你有 numpy 作为 np 导入）：
df = df.replace({np.NaN: None})
所以如果你这样做，那么 NaN 和 NaT 值都转换为 Python None 然后 psycopg2 （或可能任何其他数据库连接器）将正确处理这些值在插入时作为 SQL Null。

下面是一些示例代码来说明：

import datetime as dt
import pandas as pd
import numpy as np
data = [
    ['one', 1.0, pd.NaT],
    ['two', np.NaN, dt.datetime(2019, 2, 2)],
    [None, 3.0, dt.datetime(2019, 3, 3)]
    ]
df = pd.DataFrame(data, columns=["Name", "Value", "Event_date"])

得到了我们的基本数据框：

>>> df
   Name  Value Event_date
0   one    1.0        NaT
1   two    NaN 2019-02-02
2  None    3.0 2019-03-03

如上所述，此更新由于某种原因保留了 NaT：

>>> df.where(pd.notnull(df), None)
   Name Value Event_date
0   one   1.0        NaT
1   two  None 2019-02-02
2  None   3.0 2019-03-03

但这个版本同时得到了 NaN 和 NaT，并留下了预期的 None：

>>> df.replace({np.NaN: None})
   Name Value           Event_date
0   one   1.0                 None
1   two  None  2019-02-02 00:00:00
2  None   3.0  2019-03-03 00:00:00

如果您可以使用 sqlalchemy 来完成您想做的事情，那么接受的答案可能是“更好”的方法，但如果您必须以困难的方式做到这一点，这对我有用。

H/T 关注此 pandas 问题中的讨论，了解此答案的大部分细节。

Answer 2

你正在重新发明轮子。只需使用 pandas 的to_sql方法即可

• 匹配列名称，并且
• 照顾价值观NaT。

用于method="multi"给你与 psycopg2 相同的效果execute_values。

from pprint import pprint

import pandas as pd
import sqlalchemy as sa

table_name = "so64435497"
engine = sa.create_engine("postgresql://scott:tiger@192.168.0.199/test")
with engine.begin() as conn:
    # set up test environment
    conn.exec_driver_sql(f"DROP TABLE IF EXISTS {table_name}")
    conn.exec_driver_sql(
        f"CREATE TABLE {table_name} ("
        "id integer PRIMARY KEY GENERATED ALWAYS AS IDENTITY, "
        "txt varchar(50), "
        "txt2 varchar(50), "
        "dt timestamp)"
    )
    df = pd.read_csv(r"C:\Users\Gord\Desktop\so64435497.csv")
    df["dt"] = pd.to_datetime(df["dt"])
    print(df)
    """console output:
                       dt  txt2  txt
    0 2020-01-01 00:00:00  foo2  foo
    1                 NaT  bar2  bar
    2 2020-01-02 03:04:05  baz2  baz
    """

    # run test
    df.to_sql(
        table_name, conn, index=False, if_exists="append", method="multi"
    )
    pprint(
        conn.exec_driver_sql(
            f"SELECT id, txt, txt2, dt FROM {table_name}"
        ).all()
    )
    """console output:
    [(1, 'foo', 'foo2', datetime.datetime(2020, 1, 1, 0, 0)),
     (2, 'baz', 'baz2', None),
     (3, 'bar', 'bar2', datetime.datetime(2020, 1, 2, 3, 4, 5))]
    """