读书笔记四，构建云数据中心

1. 云数据中心新功能、特性、挑战、关键因素

1. 新特性

• 超级规模：设备数量打，多地分散
• 面向服务：从底层基础设施、应用软件、平台运行、业务流程及系统，都被打包成服务，按需交付给用户
• 高负载密度：瓦每平方英尺（W/SF）和千瓦每架（kW/架），在有限的空间拥有更多地计算和存储能力，提供更多的服务性能
• 端到端能力：云端到客户端，客户端即浏览器
• 自动化管理：用户自助获取计算能力，云数据中心自助检测、修复、迁移等一切操作
• 可伸缩性：资源可以临时性或永久性的增加、减少，高峰、空闲时自动分配资源；
• 高敏捷性：迅速响应企业的需求，企业增加新产品时只需关注核心的功能和服务，不必考虑IT技术和业务支持之间的契合度
• 按需服务：新系统的测试或者大规模数据处理利用公有云的按需扩展能力，有利于寻找最佳的负载平衡，获得最可靠的投资回报比值
• 低碳、环保、节能、绿色：投入设备减少，能耗随之减少

2. 挑战

1. 成本的缩减和明确的分担
2. 资源的优化利用
3. 系统与数据安全
4. 智能分析与解决
5. 管理的平稳过渡

3. 机遇与挑战

1. 成本缩减、明确分担
2. 资源优化利用
3. 系统数据与安全：
   • 虚拟化技术：采用DRS、HA、FT等高级特性，保证系统的稳定、可靠、连续运行
   • 虚拟化集群：采用完全集群配置模式或集成式集群模式，VHD采用共享存储，备份了所有的虚拟系统，系统自动感知应用包，故障时可可以利用共享存储精灵的迁移，根据资源的优先级、SLA设定目标自动迁移虚拟应用
4. 智能分析与解决
   • 动态管理和迁移，准确判断故障点
   • 是否会出现误报，平台处理故障能力有多强，管理视图能否清楚表明何种设备发生了哪些问题
5. 管理的平稳过渡

2. 云数据中心建模

1. 云数据中心体系结构

1. 友好的用户界面
2. 定制服务和资源付费
3. 云平台管理：包括资源的分配、权限的管理等
4. 模板部署：模板涉及CPU、内存、存储、网络、操作系统等基本内容，还能根据用户请求智能地添加资源和应用，实现动态部署、配置、回收资源
5. 平台监控：平台监控配合自动化处理，可以对一些故障自动化处理，并且自动化均衡负载
6. 安全保障：数据备份和集群，对关键业务集群卷采用bitlocker加密群集磁盘

2. 云数据中心结构分层

1. 用户接口层：用户的访问接口，包含可以选择的所有服务列表，采用B/S模式避免安装客户端
2. 资源池层：计算资源池、网络资源池、存储资源池、数据资源池、移动中间件等
3. 应用层：提供软件系统
4. 平台层：提供用户构建自己应用的平台，还要提供监控管理功能，
5. 管理层：管理各层次的云计算服务，管理资源和用户，管理服务目录按需增加和减少服务

3. 云数据中心基础架构剖析

1. 前端提供服务，后端进行管理。

云数据中心主要是对资源池进行全局、高效的管理，通过平台自动化统筹管理，确保整个数据中心安全、可靠、稳定、自主地运行

2. 资源池分类

• 计算资源池：提供计算能力，包括CPU资源池和内存资源池
• 网络资源池：包括网络中路由器、交换机、网络端口以及防火墙、VLAN、负载等其他物理元素，网络虚拟化可以提供多种功能的虚拟交换机，虚拟端口可以提供虚拟设备之间的连接和虚拟与物理设备之间的连接
• 存储资源池：采用以分布式文件系统为基础的存储技术，将所有的硬件存储资源虚拟化整合形成资源池的形式
• 数据资源池：允许用户在远程云数据中心的硬盘上存储数据并在任何时候访问数据
• 移动中间件：连接不同的移动应用、程序和系统，与中间件性质一样，将复杂语言封装成统一接口，实现“一次开发，全平台部署”的简化开发环节，隐藏了后端的复杂性，让设备与设备之间沟通更加流畅

3. 资源池管理

• 动态迁移重中之重：物理设备损坏时要采用动态迁移技术
• 最小资源粒度管理：资源粒度划分越细，资源灵活分配能力越高，也避免为应用分配多余的计算资源
• 异构平台支持：支持多平台，满足异构虚拟化环境的集群与迁移
• 资源池扩展：超出资源池负载阈值时要支持热扩展能力，添加设备后要自动归属到指定资源池内
• 翔实的统计与报告：资源的使用状况、相关状态等要有详细的统计报告，用来查看资源池性能、作为收费依据、分析等

4. 动态分配服务

• 对资源和性能的动态分配，保证所有的应用程序、系统服务都可以获得足够的资源来维系各个系统的正常运转，提高质量
• 对设备和负载的动态分配，合理平衡负载，避免某些设备负载过大或空闲的情况，降低能耗，节约成本

5. 自助服务门户

从资源的申请、系统的安装、应用的搭建，再到费用的支出、平台的交付都是由云用户自行完成，就像在淘宝为手机充值话费一样。

配额点（Quota Points）机制，在配额点范围内，自助服务策略可以自由分配资源，保证资源的最大可用

4. 云数据中心核心技术

网络互连（Interconnectivity）是云计算解决方案的必备技术，SOA/SAN和VLAN的动态配置是云计算的重要技术，虚拟化（Virtualization）技术、自助（self-service）用户入口、系统监控技术、数据保护技术、配置管理技术是云数据中心的核心技术。

1. 虚拟调度技术

• 虚拟化是云数据中心重要的支撑技术，通过虚拟化将负载有效地迁移到高效平台之上。实现快速部署和快速切换就必须屏蔽低层硬件设备的差异虚拟化调度技术对低层架构进行抽象，形成统一标准，实现统一部署、集中监控、分布应用。
• 虚拟调度分为两个层次：一是全局性调度，涉及内容包括虚拟、物理之间的负载平衡、资源的合理分配、虚拟机的优化、迁移等；二是局部性调度，涉及的颗粒更小，主要包括物理机的CPU、内存、I/O资源的合理分配和调度。
• 资源调度的目标是：时间短、质量高、经济型且负载均衡

在资源调度模型中，将应用模型、平台模型和性能目标模型作为主要依据

• 应用模型：将应用按照任务和人物属性等特征进行划分，常见的人物模型包括依赖人物模型DAG、独立任务模型IND和可分人物模型DLM
• 平台模型：平台模型中定义资源池内的各种资源，包括计算资源、网络资源等
• 性能目标模型：虚拟化调度不仅要满足成本减少、资源高利用率等特征，还要拥有高性能作为系统支撑，性能目标主要针对系统的目标和用户的目标。系统模型要考虑整体吞吐量、资源利用率、效率和资源公平性等指标；用户模型要考虑应用的最短完成时间、生命周期事件、平均延迟和带权完成时间等

按照资源的组织调度形式可分为集中调度、层次调度、分布式调度

• 集中调度：所有的资源和可用信息聚集在中心机上，由统一的中央调度程序来协调
• 层次调度：扔有中央调度程序，作用是作业的集中式调度，每一个作业调度的子资源由本地调度独立完成，可以针对不同的策略作用于本地或者全局的作业
• 分布式调度：针对不同域的资源、不同的调度程序提供并行的处理，以满足容错和高可靠性

虚拟调度中心需要根据目标函数计算优化环节，根据优化结果调整调度算法。优化环节不能花费大量时间和系统资源，综合平衡各类因素

2. 网络支撑技术

网络流量模型、网络安全、网络性能、架构融合都与传统数据中心有本质的区别。

1. 100Gb/s以太网技术
   云数据中心网络的瓶颈是带宽。IEEE（美国电气和电子工程师协会）批准802.3ba标准，40、100Gb/s以太网开始商业应用
2. Credit技术应对虚拟环境下的突发流量冲击
   • 缓存的大小是网络可以承受的最大突发值，采用配置大容量缓存的入端口缓存技术替代出端口缓存技术。
   • 出端口缓存：所有数据流都在出端口处被缓存，然后由服务器检索所有的业务服务器并返回请求结果，结果由出端口反馈给用户
   • 入端口缓存：采用虚拟输出队列（VOQ）技术，入端口配置大容量缓存，出口端应用较小缓存，使用流量管理器进行内部流量管理，入口端数据向出端口的突发，出端口再向其他端口分配Credit数量。这样所有的入端口数据都缓存在本地的大容量Buffer中，数据向出口端突发由Credit控制，当超过出口端阈值时，则不会分配Credit，这种自动凋节不同方向的浪涌缓存技术可以解决传统数据中心网络瞬时流量的拥塞压力
3. 虚拟以太网端口聚合器感知网络
   • 数据中心内传输数据速度：CPU缓存>内存>硬盘>网络传输。
   • 虚拟交换机软件实现数据中心边缘计算节点内部交换问题，虚拟交换也称为虚拟边缘桥接（Virtual Edge Bridge,VEB）。数据基于计算节点内部资源来交换，网络流量较小速度快。虚拟交换机采用软模式不用增加硬件，若试图提升网络性能则需要跟高的CPU和网卡I/O架构支持。
   • VEPA(Virtual Ethernet Port Aggregator，虚拟以太网端口聚合器)方案定义虚拟机之间的交换不再是服务器内部，而是接入VEPA硬件交换机，实现虚拟机之间的“硬交换”模式，利用Hairpin（发卡）技术将虚拟机内部之间流量引入物理网卡外部，再通过VEPA交换机来处理，解决了网络和服务器边缘管理模糊问题
     还拥有虚拟机的工作状态自动感知功能，虚拟机发生迁移时，VEPA协议将其关联的访问控制和报文下发等策略重新部署到新的接入交换机
   • VEPA具有性能高、控制力度强、配置管理简单等优势

3. 系统监控与管理技术

云平台配合自动管理与分配系统，可以自动化监视与完成事件处理机制，提高效率并且保障安全。例如微软的System Center 2012

4. 数据保护技术

1. 海量数据存储技术
   • 固态存储和全息存储逐渐成为主流，存储技术包括两种：DAS（Direct Attached Storage，直接附加存储）和网络存储，网络存储可以分为NAS（Network Attached Storage，网络附加存储）和SAN（Storage Area Network，存储区域网络）
   • 云计算存储数据方式采用分布式存储，并依靠冗余存储保证可靠性，即一份数据多个副本
2. 海量数据管理技术
   主要采用Google的BT（BigTable）数据管理技术和Hadoop的开源数据管理模块HBase

5. 绿色数据中心技术

云计算数据中心的能源开销主要来自服务器、存储设备、网络设备、不间断电源、供电单元、冷却系统、监控设备、新风系统、曾湿设备及附属设施(照明、门禁)等

• 计算、存储、网络等资源通过虚拟化技术集中管理，云平台的电源管理可以自动设置峰值在线与低估离线的低耗电模式，更细化的还可以根据CPU利用率调节CPU频率
• UPS设备重新计算所需安时
• 冷却系统对空气流和热交换进行管理，提高冷却效率，或者采用自然冷却系统
• 多层次数据中心可采用动态制冷策略，根据服务器状态调整制冷的功率