解析包含纳秒的日期时间字符串

Question

我有一些日志文件,其格式为HH:MM :: SS.nano_seconds(例如01:02:03.123456789).我想在python中创建一个日期时间,这样我就可以整齐地做数学的时间(例如,采取时间差异).strptime 使用%f 可以很好地工作几微秒.Python日期时间和时间模块真的不支持纳秒吗？

Answer 1

您可以从源中看到,datetime对象不支持比微秒更精细的任何东西.正如Mike Pennington在评论中指出的那样,这是因为实际的硬件时钟并不是那么精确.维基百科说HPET的频率"至少为10 MHz",这意味着每100纳秒一个滴答.

如果你可以抛弃最后三位数(这可能不是太有意义),你可以通过将输入字符串切成小数点后只有六位数并解析来解析它%f.否则,看起来你必须自己实现减法.

Answer 2

这是一个旧线程，但仍然......

您可以使用 Pandas 功能来实现这一点。我有像“2019-03-22T14:00:01.700311864Z”这样的时间戳，我通过以下方式将其转换为时间戳：

    firstStamp = pd.to_datetime(firstStampString, format='%Y-%m-%dT%H:%M:%S.%fZ')
    lastStamp = pd.to_datetime(lastStampString, format='%Y-%m-%dT%H:%M:%S.%fZ')

    deltaTime = lastStamp - firstStamp

这工作正常。

Answer 3

您可以很自然地将纳秒甚至更精确的时间单位（ps、fs、as）与numpy. Numpy 有自己的Datetimes 和 Timedeltas实现，因此您可以尝试np.datetime64：

import numpy as np
def str_to_ns(time_str):
     """
     input: time in a format `hh:mm:ss.up_to_9_digits`
     """
     h, m, s = time_str.split(":")
     int_s, ns = s.split(".")
     ns = map(lambda t, unit: np.timedelta64(t, unit),
              [h,m,int_s,ns.ljust(9, '0')],['h','m','s','ns'])
     return sum(ns)

然后您可以通过以下方式使用此功能：

>>> src = "1:2:34.123456789"
>>> out = str_to_ns(src)
>>> print(out)
3754123456789 nanoseconds
>>> out / np.timedelta64(1,'h')
1.0428120713302778
>>> out / np.timedelta64(1,'m')
62.568724279816664
>>> out / np.timedelta64(1,'s')
3754.123456789

算术也是可能的：

>>> t1, t2 = str_to_ns("1:0:12.12345678"), str_to_ns("1:0:12.12")
>>> t1 - t2
numpy.timedelta64(3456780,'ns')

我同意这不是那么自然，但是通过这种方式，您只需使用numpy.

Answer 4

如果您实际上并不关心纳秒，但仍然希望能够解析秒中小数点后 6 位以上的日期时间，则可以使用 python -dateutils库。

例如，尝试使用标准 lib datetime 包：

>>> from datetime import datetime
>>> datetime.strptime('2021-02-14T02:27:57.96119078Z', '%Y-%m-%dT%H:%M:%S.%fZ')
ValueError: time data '2021-02-14T02:27:57.96119078Z' does not match format '%Y-%m-%dT%H:%M:%S.%fZ'

但使用 python-dateutils，它实际上会解析它而不会抛出错误：

>>> from dateutil.parser import isoparse
>>> isoparse('2021-02-14T02:27:57.96119078Z')
datetime.datetime(2021, 2, 14, 2, 27, 57, 961190, tzinfo=tzutc())

请注意，它不会保留纳秒（也不会正确舍入 - 它只是在小数点后 6 位后截断），但它至少不会中断解析 > 6 位小数。