基于 Flink 的小米数据集成实践.pdf

基于 Flink 的小米数据集成实践 本文档旨在介绍基于 Flink 的小米数据集成实践，涵盖数据集成领域、数据集成产品、数据集成引擎等方面的内容。 一、发展现状 小米计算平台数据集成产品对数据采集中心、实时集成作业、离线集成作业、跨集群同步作业等进行了介绍。数据采集中心负责采集数据，实时集成作业负责实时处理数据，离线集成作业负责批量处理数据，而跨集群同步作业则负责跨集群同步数据。 二、思考实践 在数据集成领域中，核心问题是如何连接数据库服务器、消息队列客户端、文件跨集群等数据源，实现数据的高效集成。为此，小米计算平台开发了基于 Flink 的数据集成引擎，实现了数据的实时处理和批量处理。 三、引擎设计 小米计算平台的数据集成引擎基于 Flink，支持多种数据源，如 MySQL、PostgreSQL、Hive、Iceberg、Doris 等。同时，该引擎还支持多种数据类型，如 bit、tinyint、smallint、mediumint、int、bigint 等。 四、未来规划 小米计算平台计划继续开发基于 Flink 的数据集成引擎，实现数据集成领域的统一元数据服务。同时，该平台还计划扩展到更多的数据源和数据类型，实现更好的数据集成效果。 五、数据集成产品 小米计算平台的数据集成产品具有以下特点： * 高效集成：基于 Flink 的数据集成引擎可以实现数据的高效集成，支持实时处理和批量处理。 * 多数据源支持：支持多种数据源，如 MySQL、PostgreSQL、Hive、Iceberg、Doris 等。 * 多数据类型支持：支持多种数据类型，如 bit、tinyint、smallint、mediumint、int、bigint 等。 * 强大扩展性：可以扩展到更多的数据源和数据类型，实现更好的数据集成效果。 六、数据集成引擎 小米计算平台的数据集成引擎基于 Flink，具有以下特点： * 高效集成：可以实现数据的高效集成，支持实时处理和批量处理。 * 多数据源支持：支持多种数据源，如 MySQL、PostgreSQL、Hive、Iceberg、Doris 等。 * 强大扩展性：可以扩展到更多的数据源和数据类型，实现更好的数据集成效果。 七、Auto Catalog 小米计算平台的 Auto Catalog 机制基于 Netflix Metacat，实现了统一元数据服务。该机制可以自动注册 Catalog，无需 Create Table 语句，SQL 简洁，开发效率极高。 八、权限机制 小米计算平台的权限机制基于 Apache Ranger，实现了统一权限机制。在 SQL 优化器中增加规则，基于 Ranger 插件进行表级别的鉴权，无需 Create Catalog 语句，避免敏感信息泄漏。 九、集成作业产品镜像同步 小米计算平台的集成作业产品镜像同步机制可以自动按源表表结构创建目标表，保留原始数据所有细节，自动同步自动检测和同步表结构变更，减少人工介入，保障数据完整性。 十、流批一体自动调度 小米计算平台的流批一体自动调度机制可以实现批流作业无缝衔接，提高开发效率，保障数据一致性。 十一、专用采集账号拆分 小米计算平台的专用采集账号拆分机制可以将采集作业与集成作业拆分，采集作业使用独立的采集账号，采集权限过大，泄露其他库的权限。 十二、自动断点续传 小米计算平台的自动断点续传机制基于 GTID，实现了自动断点续传，通过 Metacat 主动拉取最新拓扑， MySQL 从库切换经常令采集中断。 十三、千表同步连接问题 小米计算平台的千表同步连接问题机制可以解决单库粒度的 Binlog Topic 隔离采集端和集成端， MySQL 实时集成作业每个采集作业都会与 MySQL 建立连接， MySQL 连接过多时对服务造成压力， MySQL 分库分表代理中间件支持 Proxy。