北航大数据部分-新.pptx

大数据技术的发展历程和主要特征 大数据，作为信息技术领域的核心组成部分，经历了从概念提出到广泛应用的快速发展。北航所探讨的大数据部分涵盖了从早期的Hadoop生态到现代的大数据3.0时代。让我们深入理解这一发展历程及其关键知识点。 大数据的起源可以追溯到Google的“三驾马车”——GFS（Google文件系统）、MapReduce和BigTable。这些技术在2004至2006年间奠定了大数据处理的基础。Hadoop，由Doug Cutting创建，于2006年左右开始流行，它的出现使得大规模结构化数据的批处理成为可能。然而，Hadoop在处理线上任务时稳定性不足，不支持高并发，并且批处理和流式计算的数据口径问题也日益显现。 随着2009年至2015年大数据1.0时代的到来，Spark的出现标志着MapReduce计算框架的升级。Spark以其内存计算的优势，提供了更快的处理速度，能够更好地处理结构化数据和实时数据，从而推动了大数据从日志分析转向记录化数据处理，实时处理则转向流计算。 进入2015年以后，大数据进入了3.0时代。在这个阶段，大数据技术不仅解决了大量结构化数据的处理问题，还开始关注非结构化数据，如图像、视频、语音和文本的处理。深度学习作为一种新的方法，被用来解决过去由MapReduce和Spark处理的问题。 大数据3.0的主要特征包括： 1. 融合的数据平台：针对不同规模的数据，有适合的处理方案，例如Hadoop用于大数据湖，MPP用于数据仓库和数据集市。 2. 融合的大数据分析语言：SQL成为通用语言，配合R和Python，覆盖了各种数据分析场景，降低了开发成本。 3. BI与AI的融合：BI工具集成AI特性，提供智能分析，而AI则利用BI的可视化功能。 4. 云计算的深度融合：大数据服务以云平台的形式提供，支持快速变化的业务需求，无需大规模IT团队。 5. 应用、数据和服务的生态融合：企业构建数据模型工厂和应用商店，形成产业链合作。 以金融行业为例，大数据应用如SQL-on-Hadoop在FreeWheel的实践中，通过使用Presto作为MPP查询引擎，解决了多数据源分析、实时查询和快速响应的问题。Presto以其高速查询能力、跨数据源JOIN操作和活跃的开发社区受到青睐。Parquet作为存储格式，支持复杂数据结构、高效压缩和处理，进一步提升了性能。此外，通过YARN管理和REST API调用，实现了资源优化和自动化任务执行。 总结来说，大数据技术的发展是从基础架构到高级应用的演进，不断适应并解决新的挑战，如数据类型、处理速度和分析复杂性。未来，大数据将继续与AI和云计算深度融合，为企业创造更大的价值。