【大数据专栏】大数据框架演进过程

大数据框架演进过程

1. Hadoop 的现状

• Hadoop 巅峰已过，逐渐成为遗留系统：Hadoop 在 2010 年代初期是大数据处理的核心，但由于组件复杂、集成困难、运维成本高，以及云计算和对象存储（如 S3）的冲击，Hadoop 的市场份额和行业关注度显著下降。
• 仍有存量部署：全球仍有大量 Hadoop 集群在运行，尤其是在企业内部用于批处理和数据湖场景，但它已不再是新项目的首选。
• 定位转向数据湖：Hadoop 生态（HDFS + Hive + Spark）更多用于存储全量原始数据，作为数据湖基础，而不是核心数仓或实时分析平台。

2. 新一代架构：MPP + 存算分离

• MPP（大规模并行处理）数据库仍是核心：MPP 架构通过 Shared-Nothing 模式实现高性能分析，适合交互式查询、BI 报表和复杂 SQL 分析。代表产品包括 Snowflake、AWS Redshift、StarRocks、ClickHouse 等。
• 云原生 + 存算分离成为主流：
  • 计算弹性：计算节点可按需扩缩容，支持“潮汐型”资源调度，降低成本。
  • 无限存储：基于对象存储（S3、OSS）构建数据湖，存储成本比传统 SAN 降低 80%+。
  • 多租户隔离：支持不同业务共享同一数据湖，但计算资源独立，避免资源争用。
• 趋势：湖仓一体 + 下一代存算分离：
  • 传统 Hadoop + MPP 的“湖仓分体”模式存在数据孤岛和高运维成本问题。
  • 新一代架构（如 Databricks Lakehouse、Snowflake、华为 OceanStor Pacific）通过统一存储和计算解耦，实现一份数据支持湖仓分析，提升实时性和灵活性。

3. 为什么存算分离是必然趋势？

• 解决资源浪费：传统存算一体架构（Hadoop、早期 MPP）导致 CPU 和存储资源绑定，利用率低。
• 降低成本：弹性扩展计算资源，避免为峰值负载长期付费。
• 简化运维：外置共享存储简化备份和恢复，支持跨云部署。
• 支持湖仓一体和多云协同：下一代架构不仅分离存算，还融合数据湖和数仓，支持实时分析和 AI 场景。

✅ 总结：

• Hadoop 仍在部分企业用于数据湖和批处理，但已不再是新项目的主流选择。
• MPP + 云原生存算分离 是当前和未来的核心趋势，尤其是 湖仓一体化架构，它结合了数据湖的灵活性和数仓的高性能，成为企业数字化转型的关键基础设施。