《数据密集型应用系统设计》读书笔记

因为个人兴趣，想学学分布式方面的知识，然后找到了这本《数据密集型应用系统设计》，确实非常的不错，无论对于以前的工程还是现在的科研都有启迪和感悟，所以就写份读书笔记记录一下。

文章目录前言一、数据分区二、 事务三、分布式系统的挑战四、一致性与共识参考文档 前言 已经读完本书的第二部分了，发现第一篇读书笔记中的第5章应该放到这一篇来的，算了，有空改一下 目前读到这儿的最大感受是，共鸣非常多，就是平时有很多耳熟而不一定能详的名词术语，在本书中都有多次提及并进行了详细的讨论（例如：数据分区，事务，ACID，分布式系统，CAP理论, 两阶段提交, ZooKeeper等） 书中...

第一部分 数据系统基础 第1章 可靠、可扩展与可维护的应用系统 当今许多新型应用都属于数据密集型，而不是计算密集型。对于这些类型应用，CPU的处理能力往往不是第一限制性因素，关键在于数据量、数据的复杂度以及数据的快速和多变性。 数据密集型应用系统设计也是基于标准模块构建而成的，通常包含以下模块： 数据库：用以存储数据，之后应用可以再次访问 高速缓存：缓存那些复杂或操作代价高昂的结果，以加快下一次访问 索引：用户可以按关键字搜索数据并支持各种过滤 流式处理：持续发送消息至另外一个进程，处理通常采用异步方式

含义：事务将应用程序的多个读、写操作捆绑在一起成为一个逻辑操作单元。即事务中的所有读写是一个执行的整体，整个事务要么成功（提交）、要么失败（中止或回滚）。 作用：简化应用层的编程模型，将某些内部潜在的错误和复杂的并发性问题交给数据库来处理（安全性保证）。 历史：支持事务处理的数据库大多沿用了IBM于1975年推出的第一个SQL数据库Symtem R的总体设计。目前一些NoSQL数据库采用复制和分区的手段来改进传统的关系模型，由此弱化或取消了事务的支持。 弱化或放弃事务的原因：为了更高的性能或更高的可用性以及

Designing Data-Intensive Application 中译《设计数据密集型应用》又名《数据密集型应用系统设计》，我看的是冯若航在gitbook开源的翻译版本，地址是https://vonng.gitbooks.io/ddia-cn/content/。以下为读书笔记。 参考文献可见https://github.com/ept/ddia-references 第一部分 数据系统的基石 第1章 可靠性、可扩展性、可维护性 可靠性（Reliability）：系统在困境（adversity

数据编码与演化 一、数据编码格式 程序中数据的两种表示形式： 内存中，保存在对象、结构体、列表、数组、树、哈希表等数据结构中。对cpu的访问进行了优化。 数据写入文件或者通过网络发送时，把其编码成字节序列。 两种行式的转化过程称为序列化和反序列化（编码和解码）。 编程语言的内置编码方案的缺点： 不同语言之间访问困难。 解码需要能实例...

第一章: 可靠、可扩展与可维护的应用系统 数据密集型应用通常也是基于标准模块构建而成，每个模块负责单一的常用功能。例如，许多应用系统都包含以下模块： 数据库：用以存储数据，这样之后应用可以再次面问。 高速缓存：缓存那些复杂或操作代价昂贵的结果，以加快下一次访问。 索引：用户可以按关键字搜索数据井支持各种过掳 流式处理：持续发送消息至另 个进程，处理采用异步方式。 批处理：定期处理大量的累积数据。 影响数据系统设计的因素有很多，其中包括相关人员技能和 经验水平、遗留系统依赖性、交付周期、对不同风险因素的容

对DDIA这本书慕名已久，粗看书里的一些知识都或多或少了解，但仔细阅读下来，还是缺少对细节的认识。目前看了四个章节，这本书一直在围绕两个问题：是什么和为什么，来做阐述，针对工业界已有的技术和存在的问题分析的非常细致，让我时常有种恍然大悟的感觉，对各种知识之间的关联讲述的非常到位。所以写下每章要点的笔记，时常回顾时常新。

花了大概半个月的时间，将《设计数据密集型应用》看了一遍，不愧是豆瓣10.0的好书。 作者在一本书里面，讲解了MySQL, Redis, Solr, Mongodb, Elasticsearch, Kafka, Hive, Hbase, Spark, Flink, Mapreduce, Neo4j, Titan, InfiniteGraph等几乎所有数据存储，数据处理的组件。在一本书里面，囊括几乎所...

文章目录前沿可靠、可扩展、可维护的应用系统 前沿 漫长的内功修炼过程，阅读过程中产生的读书笔记，可以看成是本书目录的升级版（笔记中详略均根据本人主观意见产生） 可靠、可扩展、可维护的应用系统 构成数据密集型系统的基本模块 P11 硬盘的平均无故障时间（MTTF）约为10～50年 P15 滚动升级 P16 假定“人”是不可靠的，那么该如何保证系统的可靠性呢？ P17 即使一个系统现在工作可靠，并...

第一部分 数据系统的基石 第一章 可靠性、可扩展性、可维护性 1、关于数据系统的思考 本书主要讲 数据系统，是通过数据库、队列、缓存、搜索引擎等等组合而成的应用的称呼，又可称为数据密集系统。 多个组件（数据库、缓存、队列等）配合使用的数据系统架构 数据软件系统中三个很重要的问题 2、可靠性（????Reliability????） 简单概念：即使出现偏离标准的问题（故障-f...

数据密集型应用系统设计学习笔记