将Pandas Column转换为DateTime

Question

我在pandas DataFrame中有一个字段,它以字符串格式导入.它应该是一个日期时间变量.如何将其转换为日期时间列,然后根据日期进行过滤.

例:

• DataFrame名称:raw_data
• 专栏名称:Mycol
• 列中的值格式:'05SEP2014:00:00:00.000'

Answer 1

使用该to_datetime功能,指定匹配数据的格式.

raw_data['Mycol'] =  pd.to_datetime(raw_data['Mycol'], format='%d%b%Y:%H:%M:%S.%f')

Answer 2

您可以使用DataFrame方法.apply()操作Mycol中的值:

>>> df = pd.DataFrame(['05SEP2014:00:00:00.000'],columns=['Mycol'])
>>> df
                    Mycol
0  05SEP2014:00:00:00.000
>>> import datetime as dt
>>> df['Mycol'] = df['Mycol'].apply(lambda x: 
                                    dt.datetime.strptime(x,'%d%b%Y:%H:%M:%S.%f'))
>>> df
       Mycol
0 2014-09-05

Answer 3

使用 pandasto_datetime函数将列解析为 DateTime。此外，通过使用infer_datetime_format=True，它会自动检测格式并将提到的列转换为日期时间。

import pandas as pd
raw_data['Mycol'] =  pd.to_datetime(raw_data['Mycol'], infer_datetime_format=True)

Answer 4

省时间：

raw_data['Mycol'] = pd.to_datetime(raw_data['Mycol'])

Answer 5

如果要转换的列不止一个，则可以执行以下操作：

df[["col1", "col2", "col3"]] = df[["col1", "col2", "col3"]].apply(pd.to_datetime)

Answer 6

raw_data['Mycol'] =  pd.to_datetime(raw_data['Mycol'], format='%d%b%Y:%H:%M:%S.%f')

但是它会导致Python警告的A值试图在DataFrame的切片副本上设置.尝试使用.loc[row_indexer,col_indexer] = value替代

我猜这是由于一些链式索引.

Answer 7

设置正确format=比让 pandas 找出要快得多¹

长话短说，像chrisb 的帖子format=那样从头开始传递正确的信息比让 pandas 找出格式要快得多，特别是当格式包含时间部分时。大于 10k 行的数据帧的运行时差异是巨大的（大约快 25 倍，所以我们说的是几分钟而不是几秒）。所有有效的格式选项都可以在https://strftime.org/找到。

errors='coerce'很有用

如果某些行的格式不正确或根本不是日期时间，errors=则参数非常有用，以便您可以转换有效行并稍后处理包含无效值的行。

df['date'] = pd.to_datetime(
    df['date'], format='%d%b%Y:%H:%M:%S.%f', errors='coerce')

# for multiple columns
df[['start', 'end']] = df[['start', 'end']].apply(
    pd.to_datetime, format='%d%b%Y:%H:%M:%S.%f', errors='coerce')

沉默SettingWithCopyWarning

顺便说一句，如果您收到此警告，则意味着您的数据框可能是通过过滤另一个数据框创建的。启用写时复制就可以了。（有关更多信息，请参阅这篇文章）。

pd.set_option('copy_on_write', True)
df['date'] = pd.to_datetime(df['date'], format='%d%b%Y:%H:%M:%S.%f')

¹用于生成 timeit 测试图的代码。

import perfplot
from random import choices
from datetime import datetime

mdYHMSf = range(1,13), range(1,29), range(2000,2024), range(24), *[range(60)]*2, range(1000)
perfplot.show(
    kernels=[lambda x: pd.to_datetime(x), 
             lambda x: pd.to_datetime(x, format='%m/%d/%Y %H:%M:%S.%f'), 
             lambda x: pd.to_datetime(x, infer_datetime_format=True),
             lambda s: s.apply(lambda x: datetime.strptime(x, '%m/%d/%Y %H:%M:%S.%f'))],
    labels=["pd.to_datetime(df['date'])", 
            "pd.to_datetime(df['date'], format='%m/%d/%Y %H:%M:%S.%f')", 
            "pd.to_datetime(df['date'], infer_datetime_format=True)", 
            "df['date'].apply(lambda x: datetime.strptime(x, '%m/%d/%Y %H:%M:%S.%f'))"],
    n_range=[2**k for k in range(20)],
    setup=lambda n: pd.Series([f"{m}/{d}/{Y} {H}:{M}:{S}.{f}" 
                               for m,d,Y,H,M,S,f in zip(*[choices(e, k=n) for e in mdYHMSf])]),
    equality_check=pd.Series.equals,
    xlabel='len(df)'
)

如果该列包含多种格式，请参阅将混合格式字符串列转换为日期时间 Dtype。