标签: logstash-configuration

我jdbc在logstash输入插件中有一个MySQL语句.

statement => "SELECT * from TEST where id > :sql_last_value"

我的表没有任何date或datetime字段.所以我试图通过使用a逐个检查来更新索引,scheduler是否已将任何新行添加到表中.

我应该只能更新新记录,而不是更新现有记录的现有值更改.所以要做到这一点,我有这样一个logstash输入:

input {
    jdbc {
        jdbc_connection_string => "jdbc:mysql://myhostmachine:3306/mydb" 
        jdbc_user => "root"
        jdbc_password => "root"
        jdbc_validate_connection => true
        jdbc_driver_library => "/mypath/mysql-connector-java-5.1.39-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        schedule => "* * * * *"
        statement => "SELECT * from mytable where id > :sql_last_value"
        use_column_value => true
        tracking_column => id
        last_run_metadata_path => "/path/.logstash_jdbc_last_run"
        clean_run …

我试图从Kafka获取数据并将其推送到ElasticSearch.

这是我正在使用的logstash配置:

input {
kafka {
zk_connect => "localhost:2181"
topic_id => "beats"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "elasticse"
}
}

任何人都可以使用logstash配置帮助吗？如果我运行这个我得到无效的配置错误.

D:\logstash-5.0.0\bin>logstash -f log-uf.conf
Sending Logstash logs to D:\logstash-5.0.0\logs\logstash-plain.txt which is now
configured via log4j2.properties.
[2016-11-11T16:31:32,429][ERROR][logstash.inputs.kafka    ] Unknown setting 'zk_
connect' for kafka
[2016-11-11T16:31:32,438][ERROR][logstash.inputs.kafka    ] Unknown setting 'top
ic_id' for kafka
[2016-11-11T16:31:32,452][ERROR][logstash.agent           ] fetched an invalid c
onfig {:config=>"input {\n   kafka {\n   zk_connect => \"localhost:2181\"\n   to
pic_id => \"beats\"\n   consumer_threads => 16\n  }\n}\noutput {\nelasticsearch …

我有来自JDBC输入的事件或行.

{"academic_session_id" : "as=1|dur=2015-16,as=2|dur=2016-17",
          "branch_id" : 1}

我想使用logstash过滤器将其转换或格式化为以下内容...

{"branch_id": 1,"sessions":[{"as":"1","dur":"2015-16"},{"as":"2","dur":"2016-17"}]}

如果您可以建议任何替代logstash.注意 - 我使用的是Elasticsearch 5.X版本

我正在使用FIX 过滤器插件来处理我们的一些 FIX 日志。在这些消息中，我们收到多个自定义字段。这是在 grok 过滤器之外。 我将我关心的消息传递到这个二级修复插件中

例如，我们的一些消息如下所示：

  "unknown_fields" => [
    [0] "5000",
    [1] "9723",
  ],
  "5000" => "FOOBARVAL",
  "9723" => "BAZBOOHUM",
  "IDSource" => "RIC_CODE",

题

有没有一种方法可以删除带有mutate正则表达式（^\d+$）的标签或其他过滤器？

更具体地说，有没有一种方法可以删除我知道将是自定义 FIX 字段（例如 5000）的所有整数字段？

最近,我们将Stash Git服务器迁移到使用HTTPS而不是HTTP.现在我们必须更新每个存储库中的URL以使用HTTPS的新URL.有没有办法我们可以实现这一点,而无需访问每个存储库的Git配置和更改URL？问题是我们有近60个本地存储库,我们必须更新.

任何一次更新URL的解决方案都非常感谢.

Elasticsearch 输出插件是否支持elasticsearch 的_update_by_query？ https://www.elastic.co/guide/en/logstash/6.5/plugins-outputs-elasticsearch.html https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update-by -query.html

我正在尝试创建一个与自定义交互的Docker图像.想知道什么是一种方法来设置日志位置的物流将被读取.该过程在EC2上运行,将使用基于文件的输入从Apache,HAProxy,Jboss应用程序中读取.如果有人能够更多地了解这一点,我将非常感激.LogstashhttpLogstashLogstash

我正在使用 Logstash 来保持 MySql 数据库和 ES 同步。我想保持两个数据库中的字段名称相同。但logstash 正在将一些大写字段名称转换为小写。如何配置logstash，使那些大写字段名称保持不变？

提前致谢！