Apache Doris 基础 -- 数据表设计（分层存储）

1、应用场景

未来一个重要的用例是类似于ES日志存储，其中日志场景中的数据是根据日期分割的。许多数据都是查询不频繁的冷数据，因此需要降低此类数据的存储成本。考虑到节约成本:

• 来自不同厂商的常规云磁盘的定价比对象存储更昂贵。
• Doris 集群实际在线使用时，常规云盘利用率不能达到100%。
• 云磁盘不按需计费，对象存储按需计费。
• 使用普通云磁盘实现高可用性需要多个副本和副本迁移，以防止出现故障。相比之下，将数据存储在对象存储中可以消除这些问题，因为它是共享的。

2、解决方案

在分区级别设置冻结时间，表示多久这个 Partition 会被 Freeze，并定义冻结后数据的远程存储位置。在BE(后端)守护线程中，会定期检查表的冻结状态。如果满足冻结条件，则上传数据到兼容S3协议和HDFS的对象存储。

冷热分层支持所有Doris功能，并且只将一些数据移动到对象存储中，以节省成本而不牺牲功能。因此，它具有以下特点:

• 冷数据存储在对象存储上，用户无需担心数据的一致性和安全性。
• 灵活的冻结策略，其中冷远程存储属性可以应用于表和分区级别。
• 用户可以查询数据，而不用担心数据的分布。如果数据不是本地的，它将从对象存储中提取，并在BE(后端)本地缓存。
• 副本克隆优化。如果存储的数据在对象存储上，克隆副本时不需要在本地获取存储的数据。
• 远程对象空间回收。当表或分区被删除或冷热分级过程中出现特殊情况导致空间浪费时，回收线程会定期回收空间，从而节省存储资源。
• 缓存优化，在BE中本地缓存访问的冷数据，以实现类似于非冷-热分层的查询性能。
• BE线程池优化，区分来自本地和对象存储的数据源，以防止读取对象的延迟影响查询性能。

3、存储策略的使用

存储策略是使用冷热分层特性的入口点。用户只需要在表创建期间或使用Doris时将存储策略与表或分区关联起来。

在创建S3资源时，将执行远程S3连接验证，以确保资源的正确创建。

下面是创建S3资源的示例:

CREATE RESOURCE "remote_s3"
PROPERTIES
(
    "type" = "s3",
    "s3.endpoint" = "bj.s3.com",
    "s3.region" = "bj",
    "s3.bucket" = "test-bucket",
    "s3.root.path" = "path/to/root",
    "s3.access_key" = "bbb",
    "s3.secret_key" = "aaaa",