通过logstash实现es数据同步至mysql数据库-简单插入数据测试

最新推荐文章于 2024-08-23 15:30:22 发布

upward337

最新推荐文章于 2024-08-23 15:30:22 发布

阅读量624

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # ElasticSearch 文章标签：大数据 MySQL ElasticSearch logstash 数据同步

希望对您有所帮助；知识共享，欢迎转载，转载时：请附上原文链接！

本文链接：https://blog.csdn.net/weixin_44949135/article/details/130337592

ElasticSearch 专栏收录该内容

17 篇文章

订阅专栏

文章描述了使用Logstash进行MySQL到Elasticsearch双向数据同步时遇到的错误，包括数据截断异常和主键重复错误。在尝试插入和更新数据时，Logstash的日志显示了错误信息，指出日期时间格式不匹配和主键约束违反的问题。文章探讨了需要调整Logstash配置文件中的SQL语句来实现成功的修改和删除操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过logstash实现mysql与es的双向数据同步_延锋L的博客-CSDN博客

[2023-04-24T09:22:01,433][ERROR][logstash.outputs.jdbc ][main][0182513607343e6e9911bb0ce7f70a8d51891bc7ebc7bc9b1f020782c6b64fe5] JDBC - Exception. Not retrying {:exception=>#<Java::ComMysqlCjJdbcExceptions::MysqlDataTruncation: Data truncation: Incorrect datetime value: '2020-11-25T08:26:23.000Z' for column 'create_time' at row 1>, :statement=>"INSERT INTO item_user (item_user_id, user_id, item_id, create_time, update_time, status) VALUES (?, ?, ?, ?, ?, ?)", :event=>"{\"item_user_id\":11,\"item_id\":32,\"update_time\":\"2020-11-25T08:26:23.000Z\",\"create_time\":\"2020-11-25T08:26:23.000Z\",\"user_id\":1,\"@timestamp\":\"2023-04-18T15:37:01.625721212Z\",\"status\":1,\"type\":\"item_user\",\"@version\":\"1\"}"}

input {
	elasticsearch {
		hosts => ["hadoop100:9200"]
		index => "test_user_info"
		query => '{ "query": { "match_all": {} } }'
		schedule => "* * * * *"
	}
}

output {
	jdbc {
		driver_jar_path => "/opt/jar/mysql-connector-java-8.0.21.jar"
		driver_class => "com.mysql.cj.jdbc.Driver"
		connection_string => "jdbc:mysql://hadoop100:3306/newsManagerEs?useSSL=true&useUnicode=true&characterEncoding=utf8&serverTimezone=GMT&user=root&password=123456"
		statement => ["INSERT INTO user_info (user_id, user_name, user_pwd, create_time, update_time, status) VALUES (?, ?, ?, STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), ?)", "[user_id]", "[user_name]", "[user_pwd]", "[create_time]", "[update_time]", "[status]"]
	}
}

查询数据

获取记录条数

获取具体记录内容

插入数据没有问题。

修改数据，不成功！

删除数据，不成功！

[2023-04-24T11:31:02,501][ERROR][logstash.outputs.jdbc ][main][1714ba61c98e08de1735f5efd3370e1dd110ad86ee91711e85b3a0b6a53b044f] JDBC - Exception. Not retrying {:exception=>#<Java::JavaSql::SQLIntegrityConstraintViolationException: Duplicate entry '666' for key 'PRIMARY'>, :statement=>"INSERT INTO user_info (user_id, user_name, user_pwd, create_time, update_time, status) VALUES (?, ?, ?, STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), STR_TO_DATE(?, '%Y-%m-%dT%H:%i:%s.%fZ'), ?)", :event=>"{\"@version\":\"1\",\"user_name\":\"666修改666\",\"@timestamp\":\"2023-04-24T03:31:02.038985403Z\",\"status\":0,\"user_pwd\":\"666修改666\",\"user_id\":666}"}

想要实现修改与删除操作，必须要修改logstash配置文件中的sql语句。