如何使用Logstash过滤器转换为elasticsearch输出的嵌套对象？

Question

我有来自JDBC输入的事件或行.

{"academic_session_id" : "as=1|dur=2015-16,as=2|dur=2016-17",
          "branch_id" : 1}

我想使用logstash过滤器将其转换或格式化为以下内容...

{"branch_id": 1,"sessions":[{"as":"1","dur":"2015-16"},{"as":"2","dur":"2016-17"}]}

如果您可以建议任何替代logstash.注意 - 我使用的是Elasticsearch 5.X版本

Answer 1

由于这是一个非常自定义的数据操作,我会使用ruby过滤器,只需使用code设置来编写脚本来解析数据.像这样的东西会起作用:

filter {
  ruby {
    code => "
      academic_session = event.get('academic_session_id').split(',').map{|data| data.split('|')}
      sessions = academic_session.map do |arr|
      temp_hash = {}
        arr.each do |kv|
          k,v = kv.split('=')
          temp_hash[k] = v
        end
        temp_hash
      end
      event.set('sessions', sessions)
    "  
    remove_field => ['academic_session_id']
  }
}