Springcloud Alibaba使用Canal将Mysql数据实时同步到Redis保证缓存的一致性

原创

已于 2024-01-01 18:25:42 修改 · 3k 阅读

56 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #redis #数据库

于 2023-12-28 19:28:43 首次发布

本文详细介绍了如何在Windows系统上安装和配置Canal，用于MySQL数据库的增量数据同步，并结合SpringBoot和Redis实现缓存一致性。还展示了如何在SpringCloud微服务架构中集成Canal和Feign进行数据库操作的监控和缓存更新。

6. mall-canal-service

1. 背景

canal [kə'næl] ，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。其诞生的背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。所以其核心功能如下：

数据实时备份
异构数据源(elasticsearch、Hbase)与数据库数据增量同步
业务缓存cache 刷新，保证缓存一致性
带业务逻辑的增量数据处理，如监听某个数据的变化做一定的逻辑处理

canal是借助于MySQL主从复制原理实现

master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events，可以通过show binlog events进行查看）；

slave将master的binary log events拷贝到它的中继日志(relay log)；

slave重做中继日志中的事件，将改变反映它自己的数据。

canal的工作原理：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
mysql master收到dump请求，开始推送binary log给slave(也就是canal)
canal解析binary log对象(原始为byte流)

2. Windows系统安装canal

Github下载链接：Releases · alibaba/canal · GitHub

解压

进入/conf/example，修改instance.properties

# position info
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=
canal.instance.master.position=
canal.instance.master.timestamp=
canal.instance.master.gtid=

# rds oss binlog
canal.instance.rds.accesskey=
canal.instance.rds.secretkey=
canal.instance.rds.instanceId=

# table meta tsdb info
canal.instance.tsdb.enable=true
#canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb
#canal.instance