标签: kibana

我希望能够结合Kibana 术语图的功能(能够根据特定属性的值的唯一性创建存储桶)和直方图(根据查询将数据分离到存储桶中,然后根据时间说明日期) .

总的来说,我想创建一个直方图,但我只想根据一个查询的结果创建直方图,而不是像在Kibana演示应用程序中完成的多个查询.相反,我希望每个特定字段的唯一值动态创建每个存储桶.例如,考虑我的查询返回的以下数据:

{"myValueType": "New York"}
{"myValueType": "New York"}
{"myValueType": "New York"}
{"myValueType": "San Francisco"}
{"myValueType": "San Francisco"}

还假设每个记录都有一个timestamp按日期分隔直方图数据的字段.对于那个特定的日期,我希望将数据作为3的计数传递到New York桶中,并将数量2 传递到San Francisco桶中.但是,我只能为我的一个链接查询显示5的计数.当我配置直方图时,我能够指定一个用于我的时间戳的字段,但不能从中创建存储桶.我可以发送一个字段来计算总/最小/最大/平均值,但是这个字段必须是数字,所以这也不是解决方案.

如果我使用术语图来创建饼图或条形图,我确实能够根据我指定字段的唯一值(在本例中为"myValueType")将我的数据分成桶,但这总计有史以来的数据,而不是按时间戳分割数据.虽然这是一个很好的信息,但它并不理想,因为我无法检测数据的趋势.

我正在寻找一个可以执行以下操作之一的解决方案:

• 让我在我的Kibana仪表板中动态创建查询,以在直方图中创建"桶"
• 请允许我运行ElasticSearch条款汇聚到supposidly我的数据分成基于"myValueType"水桶和这些结果融入我的直方图
• 自定义仪表板的JSON,但这对我来说不太可能
• 创建我自己的自定义面板,但这是不可取的
• 在Kibana中链接Kibana"TopN"查询.实际上,这已被证明是我的问题的解决办法,因为TopN查询从指定的fieldName动态地为每个唯一值/术语创建一个查询.但问题是,我只能将一种颜色链接到此TopN查询,并且每个唯一术语将放置在使用不同颜色阴影的存储桶中.理想情况下,直方图中的每个桶都会有一个完全不同的颜色.想象一下,随着桶数量的增加,区分独特术语是多么困难.
• 如果所有其他方法都失败了,我会从搜索字段中为每个唯一值创建一个查询.这将允许我每个桶有一个唯一的颜色,但随着"myValueType"字段中唯一术语的数量发生变化,我需要继续添加/删除Kibana的查询,这可能会非常混乱.

我相信我在这里失踪了.请帮帮我.非常感谢.

一个高度相关的SOF问题:是否可以在Kibana中使用直方图面或其卷曲响应

message我在 Kibana 的字段中有以下纯文本字符串

信息：Request result. Request: amount=58289.540000, name=Raj, so on.....

在 Lucene 的 Kibana 搜索中，当我使用message: "Request Result"时，我会得到正确的匹配。

但我想使用通配符进行搜索，例如message: "Request Resu*". 这是否可以在不更改日志或 Kibana 索引的情况下实现？

编辑：

我认为“消息”是纯文本日志，当我搜索“amount=58289.540000，name=Raj”时，我得到结果，但是当我搜索“amount=58289.540000，name=R”时，我没有得到任何结果。Kibana 如何知道这是部分值？

我猜消息不是纯文本？我如何知道我在 Kibana GUI 中查看的日志类型是什么？

我已将弹性搜索服务器放在提供基本身份验证的Apache反向代理之后.

直接从浏览器向Apache进行身份验证工作正常.但是,当我使用Kibana 3访问服务器时,我收到身份验证错误.

显然,因为没有与Kibana的Ajax调用一起发送auth标头.

我将以下内容添加到Kibana供应商目录中的elastic-angular-client.js,以实现快速和脏的身份验证.但由于某种原因,它不起作用.

$http.defaults.headers.common.Authorization = 'Basic ' + Base64Encode('user:Password');

在Kibana中实施基本身份验证的最佳方法和地点是什么？

/*! elastic.js - v1.1.1 - 2013-05-24
 * https://github.com/fullscale/elastic.js
 * Copyright (c) 2013 FullScale Labs, LLC; Licensed MIT */

/*jshint browser:true */
/*global angular:true */
'use strict';

/* 
Angular.js service wrapping the elastic.js API. This module can simply
be injected into your angular controllers. 
*/
angular.module('elasticjs.service', [])
  .factory('ejsResource', ['$http', function ($http) {

  return function (config) {
    var

      // use existing ejs object if it exists
      ejs = window.ejs || …

我需要在sql数据库上构建一个类似仪表板的kibana.这可能吗？或者是否有像sql一样简单的kibana(在集成方面)？

在我的测试ELK群集上,我在尝试查看上周的数据时遇到以下错误.

Data too large, data for [@timestamp] would be larger than limit

关于分片失败的警告似乎是误导性的,因为elasticsearch监视工具kopf并head显示所有分片都正常工作,弹性簇是绿色的.

用于弹性搜索的google组中的一个用户建议增加内存.我已将3个节点增加到8GB,每个节点有4.7GB堆,但问题还在继续.我每天产生大约5GB到25GB的数据,保留30天.

所以我有这个弹性搜索安装,在插入数据与logstash,用kibana可视化它们.

conf文件中的所有内容都被注释,因此它使用的是与弹性搜索文件夹相关的默认文件夹.

1/ I store data with logstash
2/ I look at them with kibana
3/ I close the instance of elastic seach, kibana and logstash
4/ I DELETE their folders
5/ I re-extract everything and reconfigure them
6/ I go into kibana and the data are still there

这怎么可能？

但是,此命令将删除数据: curl -XDELETE 'http://127.0.0.1:9200/_all'

谢谢.

ps:忘了说我在窗户上

我使用以下代码在logstash.conf中创建索引

output {  
    stdout {codec => rubydebug}  
    elasticsearch {  
        host => "localhost"  
        protocol => "http"  
        index => "trial_indexer"   
    }
} 

要创建另一个索引,我通常会在上面的代码中用另一个索引替换索引名称.有没有办法在同一个文件中创建多个索引？我是ELK的新手.

我创建了一整套可视化.由于某种原因,我必须在弹性中删除该索引.我们需要创建一个新的索引模式.问题是删除索引后可视化无效.我将不得不一个接一个地重新创造它.有没有办法可以去编辑可视化,只修改索引模式,而不是自己创建一个新的可视化.

我正在探索EKL堆栈并遇到问题.

我已生成日志,将日志转发到logstash,日志采用JSON格式,因此它们被直接推送到ES,只有Logstash配置中的JSON过滤器,连接并启动指向ES的Kibana.

Logstash配置:

 filter {
  json {
    source => "message"
  }

现在我为每天的日志创建了索引,Kibana愉快地显示了所有索引的所有日志.

我的问题是:日志中有许多字段未在Kibana中启用/索引进行过滤.当我尝试将它们添加到Kibana中的文件管理器时,它说"无法搜索未编入索引的字段".

注意:这些不是sys/apache日志.有JSON格式的自定义日志.

日志格式:

{"message":"ResponseDetails","@version":"1","@timestamp":"2015-05-23T03:18:51.782Z","type":"myGateway","file":"/tmp/myGatewayy.logstash","host":"localhost","offset":"1072","data":"text/javascript","statusCode":200,"correlationId":"a017db4ebf411edd3a79c6f86a3c0c2f","docType":"myGateway","level":"info","timestamp":"2015-05-23T03:15:58.796Z"}

像'statusCode'这样的字段,'correlationId'没有被索引.有什么理由吗？

我是否需要向ES提供映射文件,要求它为全部或给定字段编制索引？

我正在运行 Elasticsearch 和 kibana，我不确定 elasticsearsh 集群的状态（如果是红色、黄色或绿色），但似乎我需要获取由 elasticsearch 生成的令牌，如我从bin/elasticsearch-create-enrollment-token --scope kibana右侧运行时的屏幕截图所示目录它出错了ERROR: Failed to determine the health of the cluster.。