将带有时区的日期时间字符串转换为C ++中的UNIX时间戳的快速方法

Question

我想将一个大的包含日期时间字符串的文件转换为自C ++的UNIX时代（1970年1月1日）以来的秒数。我需要计算速度非常快，因为我需要处理大量的日期时间。

到目前为止，我已经尝试了两种选择。首先是使用在中定义的mktime time.h。我尝试的第二个选项是Howard Hinnant的带时区扩展的日期库。

这是我用来比较mktime和Howard Hinnant的tz的性能的代码：

for( int i=0; i<RUNS; i++){
    genrandomdate(&time_str);

    time_t t = mktime(&time_str);

}

auto tz = current_zone()
for( int i=0; i<RUNS; i++){

    genrandomdate(&time_str);
    auto ymd = year{time_str.tm_year+1900}/(time_str.tm_mon+1)/time_str.tm_mday;
    auto tcurr = make_zoned(tz, local_days{ymd} + 
            seconds{time_str.tm_hour*3600 + time_str.tm_min*60 + time_str.tm_sec}, choose::earliest);
    auto tbase = make_zoned("UTC", local_days{January/1/1970});
    auto dp = tcurr.get_sys_time() - tbase.get_sys_time() + 0s;

}

比较结果：

time for mktime : 0.000142s
time for tz : 0.018748s

与mktime相比，tz的性能不好。我想要比mktime更快的东西，因为当重复用于大量迭代时，mktime也非常慢。Java Calendar提供了一种非常快速的方法来执行此操作，但是当时区也在起作用时，我不知道有任何C ++替代方法。

注意：在没有时区的情况下，Howard Hinnant的日期可以非常快速地工作（甚至超过Java）。但这还不足以满足我的要求。

Answer 1

您可以做一些事情来优化对Howard Hinnant的日期库的使用：

auto tbase = make_zoned("UTC", local_days{January/1/1970});

查找时区（甚至是“ UTC”）涉及对数据库进行二进制搜索以查找具有该名称的时区。一次查找并重用结果更快：

// outside of loop:
auto utc_tz = locate_zone("UTC");

// inside of loop:
auto tbase = make_zoned(utc_tz, local_days{January/1/1970});

而且，我注意到这tbase是独立于循环的，因此整个事情都可以移出循环：

// outside of loop:
auto tbase = make_zoned("UTC", local_days{January/1/1970});

这是要进行的进一步小的优化。更改：

auto dp = tcurr.get_sys_time() - tbase.get_sys_time() + 0s;

至：

auto dp = tcurr.get_sys_time().time_since_epoch();

这tbase完全不需要了。 tcurr.get_sys_time().time_since_epoch() 是自1970-01-01 00:00:00 UTC以来的时间长度，以秒为单位。秒的精度仅用于此示例，因为输入具有秒的精度。

风格：尽量避免在代码中添加转换因子。这意味着更改：

auto tcurr = make_zoned(tz, local_days{ymd} + 
        seconds{time_str.tm_hour*3600 + time_str.tm_min*60 + time_str.tm_sec}, choose::earliest);

至：

auto tcurr = make_zoned(tz, local_days{ymd} + hours{time_str.tm_hour} + 
                        minutes{time_str.tm_min} + seconds{time_str.tm_sec},
                        choose::earliest);

如果此时区也固定的话，有没有一种方法可以避免这种二进制搜索。我的意思是我们可以获取时区偏移量和DST偏移量并手动调整时间点。

如果您不在Windows上，请尝试使用进行编译-DUSE_OS_TZDB=1。这使用了具有更高性能的数据库的编译形式。

有一种获取偏移量并手动应用偏移量的方法（https://howardhinnant.github.io/date/tz.html#local_info），但是，除非您知道偏移量不会随着的值而变化，否则您time_point可以最终将重塑逻辑make_zoned。

但是，如果您有信心UTC偏移量是恒定的，则可以按照以下方法进行操作：

auto tz = current_zone();
// Use a sample time_point to get the utc_offset:
auto info = tz->get_info(
    local_days{year{time_str.tm_year+1900}/(time_str.tm_mon+1)/time_str.tm_mday}
      + hours{time_str.tm_hour} + minutes{time_str.tm_min}
      + seconds{time_str.tm_sec});
seconds utc_offset = info.first.offset;
for( int i=0; i<RUNS; i++){

    genrandomdate(&time_str);
    // Apply the offset manually:
    auto ymd = year{time_str.tm_year+1900}/(time_str.tm_mon+1)/time_str.tm_mday;
    auto tp = sys_days{ymd} + hours{time_str.tm_hour} +
              minutes{time_str.tm_min} + seconds{time_str.tm_sec} - utc_offset;
    auto dp = tp.time_since_epoch();
}

更新-我自己的计时测试

我正在使用Xcode 10.2.1运行macOS 10.14.4。我创建了一个相对安静的机器：时间机器备份未运行。邮件未运行。iTunes未运行。

我有以下应用程序，它根据预处理器设置，使用几种不同的技术来实现所需的转换：

#include "date/tz.h"
#include <cassert>
#include <iostream>
#include <vector>

constexpr int RUNS = 1'000'000;
using namespace date;
using namespace std;
using namespace std::chrono;

vector<tm>
gendata()
{
    vector<tm> v;
    v.reserve(RUNS);
    auto tz = current_zone();
    auto tp = floor<seconds>(system_clock::now());
    for (auto i = 0; i < RUNS; ++i, tp += 1s)
    {
        zoned_seconds zt{tz, tp};
        auto lt = zt.get_local_time();
        auto d = floor<days>(lt);
        year_month_day ymd{d};
        auto s = lt - d;
        auto h = floor<hours>(s);
        s -= h;
        auto m = floor<minutes>(s);
        s -= m;
        tm x{};
        x.tm_year = int{ymd.year()} - 1900;
        x.tm_mon = unsigned{ymd.month()} - 1;
        x.tm_mday = unsigned{ymd.day()};
        x.tm_hour = h.count();
        x.tm_min = m.count();
        x.tm_sec = s.count();
        x.tm_isdst = -1;
        v.push_back(x);
    }
    return v;
}


int
main()
{

    auto v = gendata();
    vector<time_t> vr;
    vr.reserve(v.size());
    auto tz = current_zone();  // Using date
    sys_seconds begin;         // Using date, optimized
    sys_seconds end;           // Using date, optimized
    seconds offset{};          // Using date, optimized

    auto t0 = steady_clock::now();
    for(auto const& time_str : v)
    {
#if 0  // Using mktime
        auto t = mktime(const_cast<tm*>(&time_str));
        vr.push_back(t);
#elif 1  // Using date, easy
        auto ymd = year{time_str.tm_year+1900}/(time_str.tm_mon+1)/time_str.tm_mday;
        auto tp = local_days{ymd} + hours{time_str.tm_hour} +
                  minutes{time_str.tm_min} + seconds{time_str.tm_sec};
        zoned_seconds zt{tz, tp};
        vr.push_back(zt.get_sys_time().time_since_epoch().count());
#elif 0  // Using date, optimized
        auto ymd = year{time_str.tm_year+1900}/(time_str.tm_mon+1)/time_str.tm_mday;
        auto tp = local_days{ymd} + hours{time_str.tm_hour} +
                  minutes{time_str.tm_min} + seconds{time_str.tm_sec};
        sys_seconds zt{(tp - offset).time_since_epoch()};
        if (!(begin <= zt && zt < end))
        {
            auto info = tz->get_info(tp);
            offset = info.first.offset;
            begin = info.first.begin;
            end = info.first.end;
            zt = sys_seconds{(tp - offset).time_since_epoch()};
        }
        vr.push_back(zt.time_since_epoch().count());
#endif
    }
    auto t1 = steady_clock::now();

    cout << (t1-t0)/v.size() << " per conversion\n";
    auto i = vr.begin();
    for(auto const& time_str : v)
    {
        auto t = mktime(const_cast<tm*>(&time_str));
        assert(t == *i);
        ++i;
    }
}

对每个解决方案进行计时，然后根据基准解决方案检查其正确性。每个解决方案都在时间上相对紧密地转换1,000,000个时间戳，并输出每次转换的平均时间。

我介绍了四个解决方案及其在我的环境中的时间安排：

1. 使用mktime。

输出：

3849ns per conversion

2.使用tz.h在最简单的方法USE_OS_TZDB=0

输出：

3976ns per conversion

这比mktime解决方案要慢一些。

3. 使用tz.h与最简单的方法USE_OS_TZDB=1

输出：

55ns per conversion

这比以上两个解决方案快得多。但是，此解决方案在Windows上（目前）不可用，并且在macOS上不支持该库的seconds秒部分（此测试中未使用）。这两个限制都是由操作系统如何运送其时区数据库引起的。

4. 利用tz.h时间上分组时间戳的先验知识，以最佳方式使用。如果假设是错误的，则性能会受到影响，但正确性不会受到影响。

输出：

15ns per conversion

该结果大致与USE_OS_TZDB设置无关。但是性能取决于这样一个事实，即输入数据不会经常更改UTC偏移量。对于有歧义或不存在的本地时间点，此解决方案也很粗心。这样的本地时间点没有到UTC的唯一映射。如果遇到此类本地时间点，则解决方案2和3引发异常。

USE_OS_TZDB的运行时错误

在Ubuntu上运行时，OP获得了此堆栈转储。首次访问时区数据库时会发生此崩溃。崩溃是由操作系统为pthread库提供的空存根函数引起的。解决方法是显式链接到pthreads库（包括-lpthread在命令行中）。

==20645== Process terminating with default action of signal 6 (SIGABRT)
==20645==    at 0x5413428: raise (raise.c:54)
==20645==    by 0x5415029: abort (abort.c:89)
==20645==    by 0x4EC68F6: ??? (in /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.25)
==20645==    by 0x4ECCA45: ??? (in /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.25)
==20645==    by 0x4ECCA80: std::terminate() (in /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.25)
==20645==    by 0x4ECCCB3: __cxa_throw (in /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.25)
==20645==    by 0x4EC89B8: ??? (in /usr/lib/x86_64-linux-gnu/libstdc++.so.6.0.25)
==20645==    by 0x406AF9: void std::call_once<date::time_zone::init() const::{lambda()#1}>(std::once_flag&, date::time_zone::init() const::{lambda()#1}&&) (mutex:698)
==20645==    by 0x40486C: date::time_zone::init() const (tz.cpp:2114)
==20645==    by 0x404C70: date::time_zone::get_info_impl(std::chrono::time_point<date::local_t, std::chrono::duration<long, std::ratio<1l, 1l> > >) const (tz.cpp:2149)
==20645==    by 0x418E5C: date::local_info date::time_zone::get_info<std::chrono::duration<long, std::ratio<1l, 1l> > >(std::chrono::time_point<date::local_t, std::chrono::duration<long, std::ratio<1l, 1l> > >) const (tz.h:904)
==20645==    by 0x418CB2: std::chrono::time_point<std::chrono::_V2::system_clock, std::common_type<std::chrono::duration<long, std::ratio<1l, 1l> >, std::chrono::duration<long, std::ratio<1l, 1l> > >::type> date::time_zone::to_sys_impl<std::chrono::duration<long, std::ratio<1l, 1l> > >(std::chrono::time_point<date::local_t, std::chrono::duration<long, std::ratio<1l, 1l> > >, date::choose, std::integral_constant<bool, false>) const (tz.h:947)
==20645== 

Answer 2

我发现Google的CCTZ也可以做同样的事情。