OLAP工具Doris或StarRocks的数据迁移

贾斯汀玛尔斯

已于 2022-03-03 10:24:17 修改

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop Doris 文章标签： Doris StarRocks hdfs

于 2022-03-02 11:12:47 首次发布

本文链接：https://blog.csdn.net/u011095039/article/details/123225462

hadoop 同时被 2 个专栏收录

163 篇文章 ¥49.90 ¥99.00

订阅专栏

Doris

53 篇文章 ¥39.90 ¥99.00

订阅专栏

本文介绍了如何将StarRocks的数据从旧环境迁移到新环境，涉及创建仓库、备份、恢复等步骤。在备份恢复过程中，需要注意只允许ADMIN权限用户执行，且同一数据库内不允许并发执行备份或恢复作业。建议按分区备份以降低失败成本，合理规划表的分区分桶以减少备份恢复时间。此外，提供了创建HDFS仓库、全量备份、恢复数据的示例操作，以及不建议的其他数据迁移方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求

将旧环境starrocks数据迁移到新环境

备份恢复相关的操作目前只允许拥有 ADMIN 权限的用户执行。
一个 Database 内，只允许有一个正在执行的备份或恢复作业。
备份和恢复都支持最小分区（Partition）级别的操作，当表的数据量很大时，建议按分区分别执行，以降低失败重试的代价。
因为备份恢复操作，操作的都是实际的数据文件。所以当一个表的分片过多，或者一个分片有过多的小版本时，可能即使总数据量很小，依然需要备份或恢复很长时间。用户可以通过 SHOW PARTITIONS FROM table_name; 和 SHOW TABLET FROM table_name; 来查看各个分区的分片数量，以及各个分片的文件版本数量，来预估作业执行时间。文件数量对作业执行的时间影响非常大，所以建议在建表时，合理规划分区分桶，以避免过多的分片。
当通过 SHOW BACKUP 或者 SHOW RESTORE 命令查看作业状态时。有可能会在 TaskErrMsg 一列中看到错误信息。但只要 State 列不为 CANCELLED，则说明作业依然在继续。这些 Task 有可能会重试成功。当然，有些 Task 错误，也会直接导致作业失败。
如果恢复作业是一次覆盖操作（指定恢复数据到已经存在的表或分区中），那么从恢复作业的 COMMIT 阶段开始，当前集群上被覆盖的数据有可能不能再被还原。此时如果恢复作业失败或被取消，有可能