小编Chi*_*tra的帖子

Logstash JDBC 输入插件:以批量计数从 mysql 迁移数据

我有一个有 5000 万行的 20GB 数据表。需要使用logstash jdbc 输入插件迁移到ElasticSearch。我已经尝试了所有基本实现,但在批量迁移数据方面需要帮助,即一次只能迁移 10,000 行。我不确定如何以及在何处指定此计数,以及下次运行 logstash 时如何更新它。请帮我解决这个问题

这就是我所拥有的:

input {
    jdbc {
        jdbc_driver_library => "mysql-connector-java-5.1.12-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost/db"
        jdbc_validate_connection => true
        jdbc_user => "root"
        jdbc_password => "root"
        clean_run => true
        record_last_run => true
        use_column_value => true
        jdbc_paging_enabled => true
        jdbc_page_size => 5
        tracking_column => id
        statement => "select * from employee"
    }
}
Run Code Online (Sandbox Code Playgroud)

提前致谢。

mysql elasticsearch logstash logstash-jdbc

2
推荐指数
1
解决办法
3466
查看次数

标签 统计

elasticsearch ×1

logstash ×1

logstash-jdbc ×1

mysql ×1