数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以MySQL离线同步写入MaxCompute场景为例,为您介绍如何一次性把Hologres整个数据库的数据离线同步至MaxCompute。
前提条件
使用限制
该功能暂不支持开启了租户级Schema语法的MaxCompute数据源。
暂不支持将源端数据同步至MaxCompute外部表。
操作步骤
一、选择同步任务类型
进入数据集成页面。
登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的 ,在下拉框中选择对应工作空间后单击进入数据集成。
在左侧导航栏单击同步任务,然后在页面顶部单击新建同步任务,进入同步任务的创建页面,配置如下基本信息。
数据来源和去向:
MySQL
→MaxCompute
新任务名称:自定义同步任务名称。
同步类型:
整库离线
。同步步骤:选中全量同步和增量同步。
二、网络与资源配置
在网络与资源配置区域,选择同步任务所使用的资源组。您可以为该任务分配任务资源占用CU数。
来源数据源选择已添加的
MySQL
数据源,去向数据源选择已添加的MaxCompute
数据源后,单击测试连通性。确保来源数据源与去向数据源均连通成功后,单击下一步。
三、选择要同步的库表
此步骤中,您可以在源端库表区域选择源端数据源下需要同步的表,并单击图标,将其移动至右侧已选库表。
四、设置目标表属性
您需要单击分区初始化设置后的配置按钮,对于新建目标表的分区进行统一初始化设置,此处修改后将重新覆盖所有新建目标表的分区设置。
五、设置全增量控制
配置任务的全增量类型。
如果您的同步步骤勾选了全量同步和增量同步,此处默认展示一次性全量,周期性增量,不可更改。
如果您的同步步骤选择了全量同步,此处可以选择任务的类型是一次性全量还是周期性全量。
如果您的同步步骤选择了增量同步,此处可以选择任务的类型为一次性增量还是周期性增量。
说明以下以一次性全量周期性增量为例,为您示例后续的配置要点。
配置周期调度参数。
如果您的任务涉及周期性同步,则可单击周期调度参数配置进行配置。
六、目标表映射
在上一步骤选择完需要同步的表后,将自动在此界面展示当前待同步的表,但目标表的相关属性默认为待刷新映射状态,需要您定义并确认源表与目标表映射关系,即数据的读取与写入关系,然后单击刷新映射后才可进入下一步操作。您可以直接刷新映射,或自定义目标表规则后,