基于Docker安装Logstash

基于Docker安装Logstash

1. 拉取镜像

docker pull logstash:7.16.3

2. 启动容器

   docker run -d --name=logstash logstash:7.16.3
   
   查看日志 
   docker logs -f logstash
   如果出现：Starting server on port:5044
   		Successfully started Logstash API endpoint {:port=>9600}
   启动成功。
   
   

3. 拷贝数据赋予权限

   docker cp logstash:/usr/share/logstash /home/data
   mkdir /home/data/logstash/config/conf.d
   chmod 777 -R /home/data/logstash
   
   

4. 修改配置文件

​

vi logstash/config/logstash.yml


http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
# path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /user/share/logstash/logs

5.删除之前的容器，重新创建新的容器

#删除
docker rm -f logstash
#提前部署MySQL
#重新创建 (使用了 --link 参数连接 elasticsearch 和 mysql8[这是旧方式]建议使用自定义网络)
docker run -d --link elasticsearch --link mysql8 -e ES_JAVA_OPTS="-Duser.timezone=Asia/Shanghai" -v /home/data/logstash/config:/usr/share/logstash/config -v /home/data/logstash/data:/usr/share/logstash/data -v /home/data/logstash/pipeline:/usr/share/logstash/pipeline --name logstash logstash:7.16.3

6.向宿主机中传入连接数据库的驱动包和创建查询SQL文件

#创建文件夹用于存放驱动包和SQL文件(根据自己情况)
#先创建一个jdbc文件夹在jdbc中创建jars文件夹(存放驱动板)和SQL文件夹(存放SQL文件)
mkdir /home/data/logstash/config/jdbc
mkdir /home/data/logstash/config/jdbc/jars
mkdir /home/data/logstash/config/jdbc/sql

7.在文件目录/home/zx/logstash/config/conf.d下创建logstash-jdbc.conf文件

input {
    jdbc {
        type => "_doc"
         # 数据库连接地址
        jdbc_connection_string => "jdbc:mysql://mysql8:3306/dm_item?characterEncoding=UTF-8&autoReconnect=true"
         # 数据库连接账号密码；
        jdbc_user => "root"
        jdbc_password => "123456"
         # MySQL依赖包路径；
        jdbc_driver_library => "/usr/share/logstash/config/jdbc/jars/mysql-connector-java-8.0.27.jar"
         # the name of the driver class for mysql 低版本mysql 使用 com.mysql.jdbc.Driver
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
         # 数据库重连尝试次数
        connection_retry_attempts => "3"
         # 判断数据库连接是否可用，默认false不开启
        jdbc_validate_connection => "true"
         # 数据库连接可用校验超时时间，默认3600S
        jdbc_validation_timeout => "3600"
         # 开启分页查询(默认false不开启)；
        jdbc_paging_enabled => "true"
         # 单次分页查询条数(默认100000,若字段较多且更新频率较高，建议调低此值)；
        jdbc_page_size => "100000"
         # statement为查询数据sql，如果sql较复杂，建议配通过statement_filepath配置sql文件的存放路径；
         # sql_last_value为内置的变量，存放上次查询结果中最后一条数据tracking_column的值，此处即为ModifyTime；
         # statement_filepath => "mysql/jdbc.sql"
        statement_filepath => "/usr/share/logstash/config/jdbc/sql/dm_item.sql"
         # 是否将字段名转换为小写，默认true(如果有数据序列化、反序列化需求，建议改为false)；
        lowercase_column_names => false
         # Value can be any of: fatal,error,warn,info,debug，默认info；
        sql_log_level => warn
         #
         # 是否记录上次执行结果，true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中；
        record_last_run => true
         # 需要记录查询结果某字段的值时，此字段为true，否则默认tracking_column为timestamp的值；
        use_column_value => true
         # 需要记录的字段，用于增量同步，需是数据库字段
        tracking_column => "id"
         # Value can be any of: numeric,timestamp，Default value is "numeric"
        tracking_column_type => "numeric"
         # record_last_run上次数据存放位置；
        last_run_metadata_path => "/usr/share/logstash/config/jdbc/sql/.dm_item_last_run"
         # 是否清除last_run_metadata_path的记录，需要增量同步时此字段必须为false；
        clean_run => false
         #
         # 同步频率(分 时 天 月 年)，默认每分钟同步一次；         #
        schedule => "* * * * *"
    }
}
 
output {
    elasticsearch {
         # host => "localhost"
         # port => "9200"
         # 配置ES地址，集群配置方式 ["192.168.1.1:9200", "192.168.1.2:9200", "192.168.1.3:9200"]
        hosts => ["elasticsearch:9200"]
         # 索引名字，必须小写，一般以同步的表名为索引名称
        index => "dm_item"
         # 数据唯一索引(建议使用数据库KeyID)
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

8.关闭logstash.yml 中path.config: /usr/share/logstash/config/conf.d/*.conf的注释
重启容器

vi logstash/config/logstash.yml


http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]
path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /user/share/logstash/logs