标签: elastic-stack

我使用以下命令在 Ubuntu 中运行 logstash 配置文件。

/opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf

它的工作原理，但是我最近意识到，每次运行此命令时，它都会启动另一个实例。现在我认为有六个实例正在运行。因为我创建的每条新记录在elasticsearch中显示为6。

我如何停止所有这些其他实例，有什么方法可以检查有多少实例正在运行？谢谢

        第一| 2nd|3rd |4th |5th |6th |7th |8th |2012.07.12 05:31:04 |10th |ProductDir: C:\samplefiles\test\storage\4.0 (LF)
C:\samplefiles\test\storage\5.0 (LF)
样本目录：(LF)

注意：LF -> 换行被附加

我已经尝试过以下选项..似乎没有任何效果

1. match => [ "message", "(?m)....
2. (?<message>(.|\r|\n)*)
3. Greedydata 也无法工作，因为它不考虑新线。
4. mutate {gsub => ["message", "\n", "LINE_BREAK"] }

5. 编解码器 => 多行 { 模式 => "^\s" 否定 => true 什么 => 上一个 }

我已经使用 zip 文件来启动logstash、kibana 和elasticsearch。我正在将 csv 文件从 Logstash 提取到弹性搜索

           input {
            file {
                path => "D:\tls202_part01\tls202_part01.csv"
                start_position => "beginning"
            }
        }
        filter {
            csv {
                separator => ","
                columns => ["appln_id", "appln_title_lg", "appln_title"]
            }
            mutate {
                convert => ["appln_id", "integer"]
                convert => ["appln_title_lg", "string"]
                convert => ["appln_title", "string"]
            }
        }
        output {
            elasticsearch {
                hosts => "localhost"
                index => "title"
            }
            stdout {
                codec => rubydebug
            }
        }

这是我的配置文件。当我搜索索引标题时，它不存在，logstash 日志如下：

   Sending Logstash logs to D:/logstash-6.5.4/logs which is now configured via log4j2.properties …

我将Web和API日志合并在一起，我想将其单独保存在elasticsearch中。所以我想编写一种模式，如果请求是 API，那么如果过去应该执行，请求是 Web，那么应该执行日志的一部分。

以下是一些 Web 和 API 日志。

00:06:27,778 INFO  [stdout] (ajp--0.0.0.0-8009-38) 00:06:27.777 [ajp--0.0.0.0-8009-38] INFO  c.r.s.web.rest.WidgetController - Method getWidgetDetails() started to get widget details.
00:06:27,783 INFO  [stdout] (ajp--0.0.0.0-8009-38) ---> HTTP GET http://api.survey.me/v1/getwidgetdetails?profileName=jeremy-steffens&profileLevel=INDIVIDUAL&companyProfileName=premier-nationwide-lending&hideHistory=true
00:06:27,817 INFO  [stdout] (ajp--0.0.0.0-8009-38) <--- HTTP 200 http://api.survey.me/v1/getwidgetdetails?profileName=jeremy-steffens&profileLevel=INDIVIDUAL&companyProfileName=premier-nationwide-lending&hideHistory=true (29ms)
00:06:27,822 INFO  [stdout] (ajp--0.0.0.0-8009-38) 00:06:27.822 [ajp--0.0.0.0-8009-38] INFO  c.r.s.web.rest.WidgetController - Method getWidgetDetails() finished.
00:06:27,899 INFO  [stdout] (ajp--0.0.0.0-8009-40) 00:06:27.899 [ajp--0.0.0.0-8009-40] INFO  c.r.s.web.controller.LoginController - Inside initLoginPage() of LoginController

我试图写条件但它不起作用。它仅适用于线程名称。在线程之后，我有多种类型的日志，因此无法在没有 if 条件的情况下写入。

(?:%{TIME:CREATED_ON})(?:%{SPACE})%{WORD:LEVEL}%{SPACE}\[%{NOTSPACE}\]%{SPACE}\(%{NOTSPACE:THREAD}\)

有人可以给我建议吗？

运行 Elasticsearch 7.3.0 版本，我在索引中发布了 5000 万个文档。当尝试将更多文档发布到 Elasticsearch 时，我不断收到此消息：

响应代码：403 cluster_block_exception [FORBIDDEN/12/index read-only / allow delete (api)];

超出磁盘水印

我有 40 GB 的可用数据和扩展磁盘空间，但仍然不断收到此错误

对于造成这种情况的原因有什么想法吗？

我在 3 个主机中总共有大约 250 GB 的索引，即 ELK 集群中的 750 GB 数据。

那么我如何轮换 ELK 日志以在我的 ELK 集群中保留三个月的数据，并且应该将较旧的日志推送到其他地方。

我已经在 RHEL7 上安装了 ES 7.5 和 Kibana 7.5，但是在启动 Kibana 并检查 UI 后，我看到错误，“Kibana 服务器尚未准备好。”

检查 Kibana 日志，我发现它没有正确连接到 ES。任何帮助表示赞赏！

这是journalctl --unit kibana的输出：

Dec 11 10:03:05 mcjca033031 systemd[1]: kibana.service holdoff time over, scheduling restart.
Dec 11 10:03:05 mcjca033031 systemd[1]: Started Kibana.
Dec 11 10:03:05 mcjca033031 systemd[1]: Starting Kibana...
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["info","plugins-system"],"pid":5320,"message":"Setting up [15] plugins: [security,licensing,code,timelion,features,spaces,translation
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["info","plugins","security"],"pid":5320,"message":"Setting up plugin"}
Dec 11 10:03:08 mcjca033031 kibana[5320]: {"type":"log","@timestamp":"2019-12-11T15:03:08Z","tags":["warning","plugins","security","config"],"pid":5320,"message":"Generating a random key for xpack.security.encryptionKey. To prevent s
Dec …

背景：

• 我们在 6.8 版上有两个 AWS ElasticSearch 集群，位于相同的 AWS 账户和区域。
• 我们需要将集群 1（源）中的索引之一重新索引到集群 2（目标）。

我尝试将 reindex API 用于 6.8，如ES 文档中所述

POST <https://endpoint of destination Elasticsearch>/_reindex 

    {
      "source": {
        "remote": {
          "host": "https://endpoint-of-source-elasticsearch-cluster-1.es.amazonaws.com"
        },
        "index": "source-index-name"
      },
      "dest": {
        "index": "destination-index-name"
      }
    }

问题：

我得到以下错误

{
    "error": {
        "root_cause": [
            {
                "type": "x_content_parse_exception",
                "reason": "[8:3] [reindex] failed to parse field [source]"
            }
        ],
        "type": "x_content_parse_exception",
        "reason": "[8:3] [reindex] failed to parse field [source]",
        "caused_by": {
            "type": "illegal_argument_exception",
            "reason": "[host] must be …

这是 filebeat 的全新安装。我从现有服务器复制了配置文件 filebeat.yml。

文件节奏版本：6.8.5

当服务启动时sudo systemctl start filebeat，通过查看服务状态会抛出以下错误sudo systemctl status filebeat

filebeat.service: main process exited, code=exited, status=1/FAILURE
Unit filebeat.service entered failed state.
filebeat.service failed.
filebeat.service holdoff time over, scheduling restart.
Stopped Filebeat sends log files to Logstash or directly to Elasticsearch..
start request repeated too quickly for filebeat.service
Failed to start Filebeat sends log files to Logstash or directly to Elasticsearch..
Unit filebeat.service entered failed state.
filebeat.service failed.

失败的原因是什么？

我想通过“_id”获取文档，我有3个选择：

GET document by "_id" GET order/_doc/001

Use Id's Query, GET order/_search { "query": { "ids" : { "values" : ["001"] } } } Though Id's query takes array of Id's but I will be using it to get only one document at a time, so just passing one id in "values" : ["001"]

Use Term Query GET order/_search { "query": {"term": {"_id" : "001"}}}

我想知道 Id 的查询和术语查询之间有什么区别，性能方面以及我应该注意的任何其他点？

我应该选择哪一个（ID 和术语查询之间）？

任何帮助深表感谢：）