在elasticsearch / kibana脚本字段中将IP（字符串）转换为long

Question

我在doc中有一个字段，它是ipv4（“ 1.2.3.4”）的字符串表示形式，该字段的名称为“ originating_ip”。我正在尝试使用无痛语言编写脚本字段，以便添加新字段（originating_ip_calc）来表示上述IPv4的int（长整数）表示形式。

下面的脚本可以在groovy中工作（从我的理解中，这基本上可以工作几乎相同），但是在这种特定情况下，似乎几乎不是。

?String[] ipAddressInArray = "1.2.3.4".split("\\.");

long result = 0;
for (int i = 0; i < ipAddressInArray.length; i++) {
    int power = 3 - i;
    int ip = Integer.parseInt(ipAddressInArray[i]);
    long longIP = (ip * Math.pow(256, power)).toLong();
    result = result + longIP;
}
return result;

我也在寻找这个问题，正如您从上面的代码中看到的那样，它基于那里的答案之一。

还尝试使用InetAddress，但没有运气。

Answer 1

借助Elasticsearch轻松编写脚本，您可以使用如下代码：

POST ip_search/doc/_search
{
  "query": {
    "match_all": {}
  },
  "script_fields": {
    "originating_ip_calc": {
      "script": {
        "source": """
String ip_addr = params['_source']['originating_ip'];
def ip_chars = ip_addr.toCharArray();
int chars_len = ip_chars.length;
long result = 0;
int cur_power = 0;
int last_dot = chars_len;
for(int i = chars_len -1; i>=-1; i--) {
  if (i == -1 || ip_chars[i] == (char) '.' ){
    result += (Integer.parseInt(ip_addr.substring(i+ 1, last_dot)) * Math.pow(256, cur_power));
    last_dot = i;
    cur_power += 1;
  }
}         
return result
""",
        "lang": "painless"
      }
    }
  },
  "_source": ["originating_ip"]
}

（请注意，我使用Kibana控制台将请求发送到ES，在发送之前，它做了一些转义操作以使其成为有效的JSON。）

这将给出如下响应：

"hits": [
  {
    "_index": "ip_search",
    "_type": "doc",
    "_id": "2",
    "_score": 1,
    "_source": {
      "originating_ip": "10.0.0.1"
    },
    "fields": {
      "originating_ip_calc": [
        167772161
      ]
    }
  },
  {
    "_index": "ip_search",
    "_type": "doc",
    "_id": "1",
    "_score": 1,
    "_source": {
      "originating_ip": "1.2.3.4"
    },
    "fields": {
      "originating_ip_calc": [
        16909060
      ]
    }
  }
]

但是为什么一定要这样呢？

为什么这种方法.split行不通？

如果您将问题中的代码发送到ES，它将以如下错误答复：

      "script": "String[] ipAddressInArray = \"1.2.3.4\".split(\"\\\\.\");\n\nlong result = 0;\nfor (int i = 0; i < ipAddressInArray.length; i++) {\n    int power = 3 - i;\n    int ip = Integer.parseInt(ipAddressInArray[i]);\n    long longIP = (ip * Math.pow(256, power)).toLong();\n    result = result + longIP;\n}\nreturn result;",
      "lang": "painless",
      "caused_by": {
        "type": "illegal_argument_exception",
        "reason": "Unknown call [split] with [1] arguments on type [String]."

这主要是由于Java的String.split()使用不安全（因为它隐式创建了regex Pattern）。他们建议使用Pattern＃split，但这样做时应在索引中启用正则表达式。

默认情况下，它们是禁用的：

      "script": "String[] ipAddressInArray = /\\./.split(\"1.2.3.4\");...
      "lang": "painless",
      "caused_by": {
        "type": "illegal_state_exception",
        "reason": "Regexes are disabled. Set [script.painless.regex.enabled] to [true] in elasticsearch.yaml to allow them. Be careful though, regexes break out of Painless's protection against deep recursion and long loops."

为什么我们必须进行显式转换(char) '.'？

因此，我们必须手动将字符串拆分为点。直接的方法是将字符串的每个字符与进行比较'.'（在Java中，它表示char文字，而不是String）。

但这painless意味着String。因此，我们必须进行显式转换char（因为我们要遍历一个char数组）。

为什么我们必须直接使用char数组？

因为显然painless也不允许使用以下.length方法String：

    "reason": {
      "type": "script_exception",
      "reason": "compile error",
      "script_stack": [
        "\"1.2.3.4\".length",
        "         ^---- HERE"
      ],
      "script": "\"1.2.3.4\".length",
      "lang": "painless",
      "caused_by": {
        "type": "illegal_argument_exception",
        "reason": "Unknown field [length] for type [String]."
      }
    }

那为什么叫它painless呢？

尽管在快速谷歌搜索后找不到任何有关命名的历史记录，但从文档页面和一些经验（如本答案中的上述内容）中，我可以推断出它的设计目的是在生产中轻松使用。

由于资源使用和安全漏洞，它的前身Groovy是一颗令人tick舌的炸弹。因此，Elasticsearch团队创建了Java / Groovy脚本的非常有限的子集，将其具有可预测的性能并且不包含那些安全漏洞，并将其称为。painless

如果painless脚本语言有什么不对的地方，那就是限制和沙盒化了。

希望有帮助！