Logstash：解析 JDBC 列 Logstash 时出现 TZInfo::AmbigouslyTime 异常

Question

使用 Logstash JDBC 输入插件获取数据时遇到此异常：

error:
  26413962
  Sequel::InvalidValue
  TZInfo::AmbiguousTime: 2017-11-05T01:30:00+00:00 is an ambiguous local time.

这可能是因为我已经使用以下参数在 JDBC 插件中转换时区：

   jdbc_default_timezone => "America/New_York"

因此，11 月 5 日凌晨 1:30 发生了两次，我怀疑 Logstash 不知道该怎么做，陷入了无限循环。

作为解决方法，我删除了 jdbc_default_timezone 参数，而是在 select 语句中将值转换为 UTC，如下所示：

error:
  26413962
  Sequel::InvalidValue
  TZInfo::AmbiguousTime: 2017-11-05T01:30:00+00:00 is an ambiguous local time.

但这种解决方法很烦人，因为我需要修改所有 Logstash 输入日期列。

有没有办法强制它选择两个可能时间中的任何一个，或者有任何更优雅的方式？

Answer 1

这似乎是 Logstash JDBC 输入插件中的一个已知错误，它被标记为 P2 增强。 https://github.com/logstash-plugins/logstash-input-jdbc/issues/121

同时，解决方法是将 SQL 查询中的所有日期和时间戳转换为 UTC，如上面问题中所述（MS SQL 版本），或者对于 Oracle 版本如下：

select from_tz(cast(<column> as timestamp), 'CET') at time zone ('EST') "@timestamp"
    from <table>
    where ...

我们还需要删除输入文件和过滤器中的 jdbc_default_timezone 参数（如果适用）。