MySQL整库离线同步至MaxCompute

数据集成目前支持将AnalyticDB for MySQL 3.0、ClickHouse、Hologres、MySQL、PolarDB等源头的数据整库离线同步至MaxCompute。本文以MySQL离线同步写入MaxCompute场景为例,为您介绍如何一次性把Hologres整个数据库的数据离线同步至MaxCompute。

前提条件

使用限制

  • 该功能暂不支持开启了租户级Schema语法的MaxCompute数据源。

  • 暂不支持将源端数据同步至MaxCompute外部表。

操作步骤

一、选择同步任务类型

  1. 进入数据集成页面。

    登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据集成 > 数据集成,在下拉框中选择对应工作空间后单击进入数据集成

  2. 在左侧导航栏单击同步任务,然后在页面顶部单击新建同步任务,进入同步任务的创建页面,配置如下基本信息。

    • 数据来源和去向MySQLMaxCompute

    • 新任务名称:自定义同步任务名称。

    • 同步类型整库离线

    • 同步步骤:选中全量同步增量同步

二、网络与资源配置

  1. 网络与资源配置区域,选择同步任务所使用的资源组。您可以为该任务分配任务资源占用CU数。

  2. 来源数据源选择已添加的MySQL数据源,去向数据源选择已添加的MaxCompute数据源后,单击测试连通性image

  3. 确保来源数据源与去向数据源均连通成功后,单击下一步

三、选择要同步的库表

此步骤中,您可以在源端库表区域选择源端数据源下需要同步的表,并单击image图标,将其移动至右侧已选库表

image

四、设置目标表属性

您需要单击分区初始化设置后的配置按钮,对于新建目标表的分区进行统一初始化设置,此处修改后将重新覆盖所有新建目标表的分区设置。

五、设置全增量控制

  1. 配置任务的全增量类型。

    • 如果您的同步步骤勾选了全量同步增量同步,此处默认展示一次性全量,周期性增量,不可更改。

    • 如果您的同步步骤选择了全量同步,此处可以选择任务的类型是一次性全量还是周期性全量。

    • 如果您的同步步骤选择了增量同步,此处可以选择任务的类型为一次性增量还是周期性增量。

      说明

      以下以一次性全量周期性增量为例,为您示例后续的配置要点。

  2. 配置周期调度参数。

    如果您的任务涉及周期性同步,则可单击周期调度参数配置进行配置。

六、目标表映射

在上一步骤选择完需要同步的表后,将自动在此界面展示当前待同步的表,但目标表的相关属性默认为待刷新映射状态,需要您定义并确认源表与目标表映射关系,即数据的读取与写入关系,然后单击刷新映射后才可进入下一步操作。您可以直接刷新映射,或自定义目标表规则后,