基于FlinkSQLCDC的实时数据同步方案

业务系统经常会遇到需要更新数据到多个存储的需求。例如：一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天BI团队期望对数据库做全文索引，于是我们同时要写多一份数据到ES中，改造后一段时间，又有需求需要写入到Redis缓存中。很明显这种模式是不可持续发展的，这种双写到各个数据存储系统中可能导致不可维护和扩展，数据一致性问题等，需要引入分布式事务，成本和复杂度也随之增加。我们可以通过CDC（ChangeDataCapture）工具进行解除耦合，同步到下游需要同步的存储系统。通过这种方式提高系统的稳健性，也方便后续的维护。CDC全称是ChangeDataCapture，它是一个比较广义的概念