标签: elastic-stack

我的 Windows 事件日志中有一个 IP 地址字段，其中 IP 地址前面包含类似“::fffff:”的字符。我无法更改此处的源，因此我必须在 Logstash 中修复此问题。

我一定很不擅长谷歌搜索，但我真的找不到一种简单的方法来从logstash中的IP地址字段中删除这些字符。

我已经尝试过例如

 if ("" in [event_data][IpAddress]) {
        mutate {
              add_field => { "client-host" => "%{[event_data][IpAddress]}"}
              gsub => ["client-host", ":", ""]
        }
        dns {
             action => "replace"
             reverse => [ "client-host" ]
        }
 }

但运气不好，结肠仍然在那里。如何在 Logstash 中替换字符串“::ffff:10.0.36.39”中的“::ffff:”？

我有以下基本的 metricbeats 配置

metricbeat.modules:
- module: system
  metricsets:
    - cpu
    - filesystem
    - memory
    - network
    - process
  enabled: true
  period: 10s
  processes: ['.*']
  cpu_ticks: false

现在我只想监控进程id（pid）= 27056的特定进程。我知道我必须在上面配置文件的“进程”字段下做一些修改。任何人都可以帮助如何进一步进行？

我是 ELK 堆栈的新手，正在尝试学习如何配置本机 python 日志记录功能以在 LogStash 的帮助下更新我的弹性数据库。我发现的资源对我来说不太清楚，我想知道这里是否有人可以帮助我完成基本步骤。从这几个步骤开始，我是否走在正确的轨道上？

1. 为 LogStash 设置配置文件
2. 检索“记录器”[logging.getLogger()] 并向其中添加一个 Logstash 处理程序，其中主机是弹性数据库 URL？
3. 下一步？

任何帮助将不胜感激，谢谢。

我有一小段 Python 代码在 AWS lambda 中执行，但 Lambda 以一种非常不方便的格式将日志放入 CloudWatch Logs：

我想将这些日志发送给 ELK 进行可视化。有没有办法将所有 Lambda 迭代日志放到一个 json 文件中？

我正在尝试从我的索引 (ElasticSearch) 中获取索引的 PDF 文档。我已经使用摄取附件处理器插件索引了我的 pdf 文档。共有 2500 份文档与 PDF 附件一起被索引。

现在我通过搜索 PDF 的内容来获取这些 PDF，并得到以下错误。

org.apache.http.ContentTooLongException: entity content is too long [105539255] for the configured buffer limit [104857600]
    at org.elasticsearch.client.HeapBufferedAsyncResponseConsumer.onEntityEnclosed(HeapBufferedAsyncResponseConsumer.java:76)
    at org.apache.http.nio.protocol.AbstractAsyncResponseConsumer.responseReceived(AbstractAsyncResponseConsumer.java:131)
    at org.apache.http.impl.nio.client.MainClientExec.responseReceived(MainClientExec.java:315)
    at org.apache.http.impl.nio.client.DefaultClientExchangeHandlerImpl.responseReceived(DefaultClientExchangeHandlerImpl.java:147)
    at org.apache.http.nio.protocol.HttpAsyncRequestExecutor.responseReceived(HttpAsyncRequestExecutor.java:303)
    at org.apache.http.impl.nio.DefaultNHttpClientConnection.consumeInput(DefaultNHttpClientConnection.java:255)
    at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:81)
    at org.apache.http.impl.nio.client.InternalIODispatch.onInputReady(InternalIODispatch.java:39)
    at org.apache.http.impl.nio.reactor.AbstractIODispatch.inputReady(AbstractIODispatch.java:114)
    at org.apache.http.impl.nio.reactor.BaseIOReactor.readable(BaseIOReactor.java:162)
    at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvent(AbstractIOReactor.java:337)
    at org.apache.http.impl.nio.reactor.AbstractIOReactor.processEvents(AbstractIOReactor.java:315)
    at org.apache.http.impl.nio.reactor.AbstractIOReactor.execute(AbstractIOReactor.java:276)
    at org.apache.http.impl.nio.reactor.BaseIOReactor.execute(BaseIOReactor.java:104)
    at org.apache.http.impl.nio.reactor.AbstractMultiworkerIOReactor$Worker.run(AbstractMultiworkerIOReactor.java:588)
    at java.lang.Thread.run(Thread.java:748)
Exception in thread "main" java.lang.NullPointerException
    at com.es.utility.DocumentSearch.main(DocumentSearch.java:88)

请找到我的 Java API 代码以从 ElasticSearch 中获取文档

private final static String ATTACHMENT = "document_attachment"; …

我刚刚设置了一个 Elastic Cloud 部署，想知道为什么我的端点有一个特定的端口 (9243) 而默认的 HTTPS 端口 443 也可以工作？

• 这种行为将来会改变吗？
• 其中一个端口会被淘汰吗？
• 我应该从哪一个开始？

在文档上，我只能找到这个：

端口 9200 用于 HTTP 连接，端口 9243 和 443 用于 HTTPS。通常建议使用 HTTPS，因为它更安全。

我有一个带有 1GB RAM 的 VPS。我想找一个ELK的替代品，因为我的vps服务器太弱了。我只需要从 logstash 获取日志并在一些 web gui 上可视化它。

我正在尝试使用https://github.com/elastic/stack-docker在 docker 中构建 ELK

但我只需要 Elasticsearch、Kibana 和 Logstash，所以我删除了所有 apm_server、filebeat 等内容。

然后，运行命令：

docker-compose -f setup.yml up

返回以下输出：

之后，每个 docker-compose 命令都抛出相同的错误：

错误：命名卷"es_data:/usr/share/elasticsearch/data:rw"用于服务，"elasticsearch"但未在卷部分找到声明。

我的setup.yml是这样的：

version: "3.6"
services:
  setup:
    image: docker/compose:1.21.2
    working_dir: "${PWD}"
    cap_add: ['SYS_ADMIN']
    environment:
      - "PWD=${PWD}"
      - "ELASTIC_PASSWORD"
      - "ELASTIC_VERSION"
      - "TAG"
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
      - "${PWD}:${PWD}"
    entrypoint: ["/bin/ash", "-c"]
    command: ['cat ./scripts/setup.sh | tr -d "\r" | ash']

    # command: ["./scripts/setup.sh"]

还有我的 docker-compose.yml：

 ---
version: '3.6'
services:
  # The environment variable "TAG" …

我需要在 elasticSearch 上工作，我已经从授权网站下载了 elasticsearch-6.7.2，但是在尝试启动 ElasticSearch 服务器和执行elasticsearch.bat文件时，我收到以下错误：

org.elasticsearch.bootstrap.StartupException：ElasticsearchException[X-Pack 不受支持，机器学习不适用于 [windows-x86]；您可以通过在 org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:163) ~[elasticsearch-6.7.2 中设置 xpack.ml.enabled: false in elasticsearch.yml] 来使用其他 X-Pack 功能（不支持） .jar:6.7.2] 在 org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:150) ~[elasticsearch-6.7.2.jar:6.7.2] 在 org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.execute(EnvironmentAwareCommand) .java:86) ~[elasticsearch-6.7.2.jar:6.7.2] 在 org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.7.2.jar:6.7。 2] 在 org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.7.2.jar:6.7. 2] 在 org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:116) ~[elasticsearch-6.7.2.jar:6.7.2] 在 org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.7.2.jar:6.7.2] 由：org.elasticsearch.ElasticsearchException：不支持 X-Pack 且机器学习不适用于 [windows-x86]；您可以通过在 org.elasticsearch.xpack.ml.MachineLearningFeatureSet.isRunningOnMlPlatform(MachineLearningFeatureSet.java:107) ~[?:?]在 org.elasticsearch.xpack.ml.MachineLearningFeatureSet.isRunningOnMlPlatform(MachineLearningFeatureSet.java:98) ~[?:?] 在 org.elasticsearch.xpack.ml.MachineLearning.createComponents(MachineLearning.java:413) ~[?:

我的确在变化config/elasticsearch.yml，以

xpack.security.enabled: true

现在在启动 elasticsearch ( ./bin/elasticsearch) 然后执行： curl localhost:9200

得到：

{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

然后尝试了这两个：

curl localhost:9200 -u elastic:elastic
curl localhost:9200 -u elastic:changeme

得到：

{"error":{"root_cause":[{"type":"security_exception","reason":"failed to authenticate user [elastic]",
"header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}], "type":"security_exception", "reason":"failed to authenticate user [elastic]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}%

Elasticsearch 7.2.0 的默认用户名/密码是什么？