【新版系统架构】第十九章-大数据架构设计理论与实践

已于 2025-03-05 23:39:39 修改
阅读量1.5k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 系统架构设计师（第2版） 文章标签： 系统架构 grafana
于 2023-07-12 15:07:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40972073/article/details/131534758
本文深入探讨了大数据处理系统架构中的Lambda和Kappa架构。Lambda架构适用于离线和实时数据处理，强调容错性、扩展性和低延迟，而Kappa架构则进一步简化，专注于流处理，适合增量数据场景。通过对两种架构的比较，帮助理解各自在不同场景的应用优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据处理系统架构

大数据处理系统面临挑战

  1. 如何利用信息技术等手段处理非结构化和半结构化数据
  2. 如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模
  3. 数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

大数据处理系统架构特征

  1. 鲁棒性和容错性
  2. 低延迟读取和更新能力
  3. 横向扩容
  4. 通用性
  5. 延展性
  6. 即席查询能力
  7. 最少维护能力
  8. 可调式性

Lambda架构

Lambda架构用于同时处理离线和实时数据，可容错，可扩展的分布式系统，具备强鲁棒性和低延迟和持续更新。

Lambda架构分为三层：批处理层、加速层、服务层

在这里插入图片描述
批处理层核心功能：存储数据集和生成Batch View
主数据集中数据必须具备以下三个属性：数据是原始的、数据是不可变的、数据永远是真实的

Lambda架构优缺点：
优点：容错性好，查询灵活度高，易伸缩、易扩展
缺点：全场景覆盖带来的编码开销，针对具体

了解本专栏 订阅专栏 解锁全文 超级会员免费看
系统架构设计师【第19章】: 大数据架构设计理论与实践 (核心总结)
数据知道的博客
06-04 1万+
大数据架构主要面向大数据的容量体量、类型多样、高速实时、客观真实、价值可观、变化多 样和复杂多源的特性，既要构建高质量属性的架构解决方案，又受制于成本、性能、可扩展性等诸多条件。同时，云计算、物联网以及边缘计算等客观环境的发展，也对大数据架构的设计提出了弹性、容器化等新的要求。
【软考】下篇 第19章 大数据架构设计理论与实践
罗小爬的技术宝书
05-28 933
(1) 批处理层 (Batch Layer): 存储数据集， Batch Layer在数据集上预先计算查询函数，并构建查询所对应的 View。Batch Layer可以很好地处理离线数据，但有很多场景数据是不断实时生成且需要实时查询处理，对于这种情况， Speed Layer更为适合。(2) 加速层 (Speed Layer): Batch Layer处理的是全体数据集，而 Speed Layer处理的是最近的增量数据流。
大数据处理中的Lambda架构和Kappa架构
03-03
首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用Sqoop，日志同步可以选择Flume，打点采集的数据经过格式化转换后通过Kafka等消息队列进行传递。不同的数据源产生的数据质量可能差别很大，数据
【架构-8】Lambda和Kappa架构
qq_45611002的博客
04-11 994
（1）以流处理为主的数据分析架构，实时层流式处理输入数据，生成实时视图，服务层接受用户请求，查询实时视图，响应用户请求。（3）适用于实时性要求高的场景，如金融、物流等领域的实时监控、预警等。（3）适用于离线批处理和增量处理场景，如离线数据分析、报表生成等。缺点：（1）全场景覆盖带来的编码开销（2）重新部署和迁移成本高。（2）批处理和增量处理独立存在，适合处理大数据量的场景。优点：（1）容错性好（2）灵活度高（3）易伸缩易扩展。实时层：处理输入数据，生成实时视图。（2）流式处理，适合处理实时数据。
大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别(1)
2401_84181481的博客
04-27 1217
Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。两者都有各自的优缺点，需要根据具体场景进行技术选型和设计权衡。
【笔记-软考】大数据架构-Lambda与Kappa架构对比
zhaoyaxuan001的博客
07-28 1305
大数据系统架构的设计思想很大程度受技术条件和思维模式的限制；Lambda架构在提出初期面向小范围业务，直接将成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合，用View模型将二者处理后得到的输出结果结合起来，在服务层进行统一后，再开放给上层服务，是相当可行且高效的设计方式。而Kappa架构的作者对流式处理系统有着丰富的理论知识和使用经验，基于对流式计算的深入理解，Kappa架构在同一层内进行实时处理和离线处理。
数据系统架构——Lambda architecture(Lambda架构)
热门推荐
永不言弃01
06-28 3万+
传统系统的问题 “我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是为自我服务，用来更好地自我控制和管理，DT则是激活生产力，让别人活得比你好”——阿里巴巴董事局主席马云。 数据量从M的级别到G的级别到现在T的级、P的级别。数据量的变化 数据管理系统（DBMS）和数仓系统（DW）也在悄然的变化着。
【新版系统架构】第十二章-信息系统架构设计理论和实践
分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题
07-06 1505
架构是对系统的抽象，通过描述元素、元素的外部可见属性及元素之间的关系来反映这种抽象架构由多个结构组成，结构是从功能角度来描述元素之间的关系的，具体的结构传达了架构某方面的信息任何软件都存在架构，但不一定有对该架构的具体表达文档元素及其行为的集合构成架构的内容，两个方面进行抽象：在静态方面，关注系统的大粒度（宏观）总体结构，在动态方面，关注系统内关键行为的共同特征架构具有基础性，通常涉及解决各类关键重复问题的通用方案（复用性），以及系统设计中影响深远的各项重要决策。
系统架构设计师教程（十九）大数据架构设计理论与实践
赫凯的博客
01-28 1514
探讨了大数据架构设计理论与实践，分析了大数据系统设计的关键要素和常见架构。文章首先介绍了Lambda架构和Kappa架构，以及它们在处理大数据时的优势和局限性。Lambda架构将数据处理分为批处理和实时处理两层，适用于需要离线和实时数据处理相结合的场景。而Kappa架构则在同一层内进行实时处理和离线处理，更适用于实时性要求较高的场景。
Lambda架构&Kappa架构
信念随梦的博客
01-27 4328
在大数据3.0时代，Lambda大数据架构已经无法满足企业用户日常大数据分析和敬意运营的需要，去ETL化的IOTA大数据架构才是未来。 Lambda架构 Lambda 是用Nathan Marz（实时处理框架storm的作者） 提出的用于同时处理离线和实时的数据的，可容错的，可扩展的分布式系统。它具备强鲁棒性，提供低延迟和持续更新。它通过批量MapReduce作业提供了虽有些延迟但是...
美团大数据平台架构实战
01-30
美团大数据平台架构实战，美团大数据平台架构实战，美团大数据平台架构实战
Lambda 架构 vs Kappa 架构区别
技术博客
10-22 668
引入是为了采用统一的方法来应对这一挑战，并且只有一个流层，使用 Apache Kafka 等服务来处理所有操作。Lambda 架构面临的挑战是，您需要为实时层和批处理层复制预处理和其他常见工作，因此建议对这两种提取使用相同的服务，例如 Spark，它有助于完成这两种操作。Lambda架构通过批处理层和速度层的组合，兼顾了低延迟和复杂分析，但系统较复杂，存在数据冗余和延迟不一致问题。Kappa架构只通过流式系统实现所有处理，简化了架构，但历史数据分析相对复杂，需要流式系统保证精确一次语义。
三十七篇：大数据架构革命：Lambda与Kappa的深度剖析
凡江林的博客
06-10 1295
Lambda架构最初由Nathan Marz提出，旨在解决传统数据处理系统在处理大规模数据时遇到的性能瓶颈和实时性不足的问题。Lambda架构的核心思想是将数据处理分为两个不同的路径：批处理和实时处理，然后将两者的结果合并，以提供既准确又实时的数据视图。这种架构的名称“Lambda”来源于函数式编程中的Lambda演算，象征着架构中数据处理的并行性和可组合性。Lambda架构通过这种双路径处理方式，实现了对历史数据和实时数据的高效处理。
【企业架构设计实战】大数据架构最佳实践
AI天才研究院
02-07 1万+
数据架构概述什么是数据？一个企业的数字化核心是数据，数据化的价值依赖于数据的标准和质量，数据对一个企业来说至关重要，它也是整个信息化建设及企业架构的核心。数据具有多样性，有结构化的、非结构化的，与业务相关的、与系统相关的，企业内部的、企业外部的等。从数据的价值来看，可分为数据本身的和由数据分析产生的。数据本身并没有太多价值，重要的是数据进一步带给我们什么。我们可以从数据中提炼出信息，总结出知识，并...
Lambda架构与Kappa架构对比详解
最新发布
慢慢
05-14 1153
fill:#333;color:#333;color:#333;fill:none;数据源批处理层加速层Batch View服务层查询结果✅Kappa架构由Jay Kreps提出，是Lambda架构的简化版本，，通过**数据重放（Replay）**实现批处理功能。fill:#333;color:#333;color:#333;fill:none;数据源消息队列流处理引擎存储层查询结果✅。
架构设计之大数据架构（Lambda架构、Kappa架构）
Elaine的博客
10-31 6429
Lambda、Kappa大数据架构介绍
Lambda架构 vs Kappa架构
大雨点的专栏
05-11 7791
Lambda 架构 Lambda 架构由Storm的作者Nathan Marz提出，其设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成Hadoop, Kafka, Spark，Storm等各类大数据组件。 Lambda 架构可分解为三层Layer，即Batch Layer,
Kappa架构和Lambda架构的主要区别
mischen520的博客
06-10 282
（1）Kappa不是Lambda的替代架构，而是其简化版本，Kappa放弃了对批处理的支持，更擅长业务本身为增量数据写入场景的分析需求，例如各种时序数据场景，天然存在时间窗口的概念，流式计算直接满足其实时计算和历史补偿任务需求。（2）Lambda直接支持批处理，因此更适合对历史数据分析查询的场景，比如数据分析师需要按任意条件组合对历史数据进行探索性的分析，并且有一定的实时性需求，期望尽快得到分析结果，批处理可以更直接高效地满足这些需求。
大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓
Shockang的博客
07-27 2万+
面对海量异构数据,如何设计高效可靠的大数据处理架构?本文全方位解析大数据处理的典型架构模式。 想知道兼具低延迟和批处理能力的Lambda架构和Kappa架构有何区别?简单高效的流批一体架构如何实现?灵活的Dataflow数据流模型的原理是什么?实时数仓如何做到毫秒级分析? 本文通过详细的原理分析和业界案例,以八股文体系全面介绍各类大数据处理架构的模式、特点、适用场景,并对不同架构进行横向对比。 无论你是架构设计者,还是大数据开发者,本文都将提供思路清晰的理论指导,以及可落地的技术细节。
高可用分布式架构设计实战：从理论到实践
最后，第十课强调了监控在高可用架构设计中的重要性，监控系统能够帮助及时发现和解决问题，确保系统的健康运行。 这个内训方案全面地涵盖了构建高可用分布式架构的各种要素，对于IT专业人员来说，是提升架构设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿提说说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值