标签: kibana

如何在不进行任何聚合的情况下将 kibana 中的事件数据制成表格？

我想准备一个包含 3 列的表：

1. 酒店名称
2. 房间数量
3. 酒店邮政编码

我想从事件中提取此信息并使用上述三个值填充表。我怎样才能在 Kibana 中做到这一点？

我一直在研究聚合和使用脚本编写painless，但我无法弄清楚如何对对象中的所有值进行迭代/求和。

例子：

我的映射看起来像

"field1": {
  "properties": {
    "subfield1": {
      "type": "float"
    },
    "subfield2": {
      "type": "float"
    },
    "subfield3": {
      "type": "float"
    }
  }
}

假设我的数据如下所示：

{
  "field1" : {
    "subfield1": 50.0,
    "subfield2": 20.5,
    "subfield3": 30.5
  }
}

我想对 执行范围查询50.0 + 20.5 + 30.5，或者基本上以某种方式访问​​对象内的所有值field1。

聚合不允许我在字段中使用通配符。我正在查看LeafDocLookup（内部使用无痛）的代码，我发现相关方法已被禁用。

我已经成功地编写了这样的脚本：

"query": {
  "script": {
    "script": {
      "inline": "return (doc['field1.subfield1'].value + doc['field1.subfield2'].value + doc['field1.subfield3'].value > 50);",
      "lang": "painless"
    }
  }
}

但这显然不是最优的，并且没有解决动态密钥的主要问题。

我想从 elasic 搜索文档中过滤数据，例如具有空白列表的文档。我怎么能做到这一点。假设我想要这个结果。

1) { 姓名:'vipul', 性别:[] }

这是有空白列表

我正在使用 ELK 进行监控。几天前它工作正常，突然停止工作。

请帮我解决这个问题。

错误日志：

java.lang.IllegalArgumentException：插件 [ingest-geoip] 是为 Elasticsearch 6.2.4 版构建的，但 6.5.0 版正在 org.elasticsearch.plugins.PluginsService.verifyCompatibility(PluginsService.java:339) ~[elasticsearch-6.5. 0.jar:6.5.0] 在 org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:524) ~[elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.plugins.PluginsService.loadBundles( PluginsService.java:464) ~[elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.plugins.PluginsService.(PluginsService.java:156) ~[elasticsearch-6.5.0.jar:6.5.0]在 org.elasticsearch.node.Node.(Node.java:338) ~[elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.node.Node.(Node.java:265) ~[elasticsearch- 6.5.0.jar:6.5.0] 在 org.elasticsearch.bootstrap。Bootstrap$5.(Bootstrap.java:212) ~[elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:212) ~[elasticsearch-6.5.0.jar :6.5.0] 在 org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:333) [elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java: 136) [elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) [elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch。 cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) [elasticsearch-6.5.0.jar:6.5.0] 在 org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) [elasticsearch-cli-6.5.0] .jar:6.5.0] 在 org.elasticsearch.cli.Command.main(Command.java:90) [elasticsearch-cli-6.5.0.jar:6.5.0] 在 org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) [elasticsearch-6.5.0.jar:6.5.0] 在 org. elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) [elasticsearch-6.5.0.jar:6.5.0] [2018-11-15T23:33:31,908][WARN][oebElasticsearchUncaughtExceptionHandler] [97v4l7O] 未捕获异常线程 [main] org.elasticsearch.bootstrap.StartupException: java.lang.IllegalArgumentException: 插件 [ingest-geoip] 是为 Elasticsearch 6.2.4 版构建的，但 6.5.0 …

我已经使用 zip 文件来启动logstash、kibana 和elasticsearch。我正在将 csv 文件从 Logstash 提取到弹性搜索

           input {
            file {
                path => "D:\tls202_part01\tls202_part01.csv"
                start_position => "beginning"
            }
        }
        filter {
            csv {
                separator => ","
                columns => ["appln_id", "appln_title_lg", "appln_title"]
            }
            mutate {
                convert => ["appln_id", "integer"]
                convert => ["appln_title_lg", "string"]
                convert => ["appln_title", "string"]
            }
        }
        output {
            elasticsearch {
                hosts => "localhost"
                index => "title"
            }
            stdout {
                codec => rubydebug
            }
        }

这是我的配置文件。当我搜索索引标题时，它不存在，logstash 日志如下：

   Sending Logstash logs to D:/logstash-6.5.4/logs which is now configured via log4j2.properties …

我正在用 Python 启动一个小脚本，以便对我在 Kibana 中进行的查询创建一个小 GET。目前，在 Kibana 中，我收到了包含计数的 IP 列表：

我想用 Python 接收这些信息，我已经尝试过搜索，但我不确定是否理解。

这是 Kibana 中的查询：

    GET /_search
{
  "size": 0,
  "query": {
      "range": {
        "@timestamp": {
          "gte": 1552922613804,
          "lte": 1552923513804,
          "format": "epoch_millis"
        }
      }
    },
  "aggs": {
    "2": {
      "significant_terms": {
        "field": "origin.keyword",
        "size": 300
      }
    }
  }
}

是否可以在 python 中创建相同的查询？

提前致谢！

我正在试用 Elastic Cloud 14 天免费试用版。

我按照视频教程部署了弹性云。我设置了密码。但是，我不记得输入我的用户名。我尝试了我的电子邮件帐户，用于确认。我尝试了我的 IP 地址，我的 cloud.elastic.co 站点中给出的云 ID。我浏览了帐户和个人资料选项卡，但找不到任何内容。我搜索了默认用户名，但有些网站提到了“kibana”，但这也不起作用。我很尴尬，但我只有14天的时间来尝试，所以如果有人用过或一直在用这个，你能帮我吗？

我还应该在哪里寻找用户名？我根本没有设置我的用户名。如果有的话，默认用户名是什么？

我稍微修改了这个问题。

我已经在 RHEL7 上安装了 ES 7.5 和 Kibana 7.5，但是在启动 Kibana 并检查 UI 后，我看到错误，“Kibana 服务器尚未准备好。”

检查 Kibana 日志，我发现它没有正确连接到 ES。任何帮助表示赞赏！

这是journalctl --unit kibana的输出：

Dec 11 10:03:05 mcjca033031 systemd[1]: kibana.service holdoff time over, scheduling restart.
Dec 11 10:03:05 mcjca033031 systemd[1]: Started Kibana.
Dec 11 10:03:05 mcjca033031 systemd[1]: Starting Kibana...
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["info","plugins-system"],"pid":5320,"message":"Setting up [15] plugins: [security,licensing,code,timelion,features,spaces,translation
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["info","plugins","security"],"pid":5320,"message":"Setting up plugin"}
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["warning","plugins","security","config"],"pid":5320,"message":"Generating a random key for xpack.security.encryptionKey. To prevent s
Dec …

我正在使用 elasticsearch 从 Rails 应用程序中获取快速结果。我想知道执行特定查询需要多长时间？是否有任何工具可以查找和比较执行时间以便优化查询？

我找不到任何有关如何配置 filebeat 来处理 ECS 格式的 JSON 日志的文档。

我使用ecs-pino-format输出“ECS”日志，这是我输出的典型日志：

{"log":{"level":"debug","logger":"pino"},"@timestamp":"2020-06-10T17:02:11.266Z","module":"APM","ecs":{"version":"1.5.0"},"message":"ended transaction {\"trans\":\"7614bf8a4895a7a4\",\"trace\":\"8a5c71d2c1c63f6dfc1a5bfd046701ed\",\"type\":\"request\",\"result\":\"HTTP 2xx\",\"name\":\"GET /healthcheck\"}"}

这是我的 filebeat 配置：

{"log":{"level":"debug","logger":"pino"},"@timestamp":"2020-06-10T17:02:11.266Z","module":"APM","ecs":{"version":"1.5.0"},"message":"ended transaction {\"trans\":\"7614bf8a4895a7a4\",\"trace\":\"8a5c71d2c1c63f6dfc1a5bfd046701ed\",\"type\":\"request\",\"result\":\"HTTP 2xx\",\"name\":\"GET /healthcheck\"}"}

使用此配置，Kibana 不会解释我的日志：

我将此注释添加到我的 pod 中（甚至不确定我必须这样做......）：

filebeat.autodiscover:
      providers:
        - type: kubernetes
          node: ${NODE_NAME}
          hints.enabled: true
          hints.default_config:
            type: container
            paths:
              - /var/log/containers/*${data.kubernetes.container.id}.log

这是我在 filebeat 上遇到的错误：

2020-06-10T16:47:00.773Z    WARN    [elasticsearch]    elasticsearch/client.go:384    Cannot index event publisher.Event{Content:beat.Event{Timestamp:time.Time{wall:0x304e23a, ext:63727404418, loc:(*time.Location)(nil)}, Meta:null, Fields:{"agent":{"ephemeral_id":"cc9f9def-5d67-4592-8459-f556f8f2fc29","hostname":"filebeat-filebeat-4dqpq","id":"e8d9cffe-ceca-49f5-ae31-65bbb29353e8","type":"filebeat","version":"7.7.0"},"ecs":{"version":"1.5.0"},"host":{"name":"filebeat-filebeat-4dqpq"},"input":{"type":"container"},"json":{"@timestamp":"2020-06-10T16:46:58.049Z","ecs":{"version":"1.5.0"},"log":"","message":"sending span {\"span\":\"87ad75b7f0858817\",\"parent\":\"82e1f82870aa3e55\",\"trace\":\"13c7569f7562a72bef1300097d1ab86c\",\"name\":\"SELECT\",\"type\":\"db\"}","module":"APM","trace.id":"13c7569f7562a72bef1300097d1ab86c","transaction.id":"82e1f82870aa3e55"},"kubernetes":{"container":{"image":"registry.gitlab.com/consensys/codefi/products/assets/workflow-api:v0.1.3-2-g358bbc6","name":"generic-app"},"labels":{"app_kubernetes_io/instance":"workflow-api","app_kubernetes_io/name":"workflow-api","pod-template-hash":"b946b7c49"},"namespace":"codefi","node":{"name":"ip-192-168-33-94.eu-west-3.compute.internal"},"pod":{"name":"workflow-api-b946b7c49-7qldb","uid":"e984519d-8cc5-426d-bdac-e3f0dfa55c0b"},"replicaset":{"name":"workflow-api-b946b7c49"}},"log":{"file":{"path":"/var/log/containers/workflow-api-b946b7c49-7qldb_codefi_generic-app-9bff78b56f893e056e1e614de3c28aa6671dd4723c0dfc166460ac9bde43571a.log"},"offset":2303955},"stream":"stdout"}, Private:file.State{Id:"", Finished:false, Fileinfo:(*os.fileStat)(0xc000ac8a90), Source:"/var/log/containers/workflow-api-b946b7c49-7qldb_codefi_generic-app-9bff78b56f893e056e1e614de3c28aa6671dd4723c0dfc166460ac9bde43571a.log", Offset:2304478, Timestamp:time.Time{wall:0xbfb060a48062556d, ext:986606661848, loc:(*time.Location)(0x3bdbf40)}, TTL:-1, Type:"container", Meta:map[string]string(nil), FileStateOS:file.StateOS{Inode:0x601c938, Device:0x10301}}, TimeSeries:false}, Flags:0x1, Cache:publisher.EventCache{m:common.MapStr(nil)}} (status=400): {"type":"mapper_parsing_exception","reason":"object mapping for …