[实时计算flink]数据库实时入仓快速入门

实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到Hologres的数据同步作业。

背景信息

假设MySQL实例中有一个tpc_ds库，里面有24张表结构不相同的业务表。另外还有user_db1~user_db3三个库，由于进行了分库分表的设计，每个库中分别有3张表结构相同的表，共包含名称为user01~user09的9张表。在阿里云DMS控制台观察到MySQL中的库和表情况如下图所示。

此时，如果您希望开发一个数据同步的作业，将这些表和数据都同步到Hologres中，其中user分库分表能合并到Hologres的一张表中，则可以按照以下步骤进行：

• 步骤一：创建Catalog

• 步骤二：开发数据同步作业

• 步骤三：启动作业

• 步骤四：观察全量同步结果

• 步骤五：观察增量同步结果

• （可选）步骤六：作业资源配置

本文使用Flink提供的CREATE TABLE AS（CTAS）语句和CREATE DATABASE AS（CDAS）语句来完成整库同步、分库分表合并同步，一键完成数据的全量和增量同步，以及实时的表结构变更同步。

前提条件

• 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见权限管理。

• 已创建Flink工作空间，详情请参见开通实时计算Flink版。

• 上下游存储

  • 已创建RDS MySQL实例，详情请参见快速创建RDS MySQL实例。

  • 已创建Hologres实例，详情请参见购买Hologres。

  说明

  RDS MySQL和Hologres需要与Flink工作空间在相同地域相同VPC下，否则需要打通网络，详情请参见控制台操作或控制台操作。

• 已准备好测试数据，并配置好白名单。详情请参见准备测试数据和