云与分布式编程技术解析

### 云与分布式编程技术解析 #### 1. 云平台特性概述 部署能够显著简化系统。对于 N 个平台特性，仅需 N 个服务，而其他方法可能产生多达 2^N 个镜像，这一数量是难以接受的。 ##### 1.1 表格与 NOSQL 非关系型数据库 近年来，简化数据库结构（即“NOSQL”）取得了重要进展，这类数据库通常强调分布性和可扩展性。在三大主要云平台中都有相关应用：谷歌的 BigTable、亚马逊的 SimpleDB 以及 Azure 的 Azure Table。表格在科学领域具有重要地位，例如天文学中的 VOTable 标准以及 Excel 的广泛使用就证明了这一点。不过，在云环境之外使用表格的经验似乎并不丰富。 非关系型数据库有许多重要用途，特别是在元数据存储和访问的三元组存储方面。近期，人们对基于 MapReduce、表格或 Hadoop 文件系统构建可扩展的 RDF 三元组存储产生了兴趣，并且在大型存储方面已经取得了初步成功。当前的云表格可分为两类：Azure Table 和亚马逊的 SimpleDB 较为相似，支持“文档存储”的轻量级存储；而 BigTable 旨在管理无大小限制的大型分布式数据集。 所有这些表格都是无模式的（每个记录可以有不同的属性），不过 BigTable 有列（属性）族的模式。表格在科学计算中的重要性可能会不断增加，学术系统可以借助两个 Apache 项目来支持这一点：用于 BigTable 的 Hbase 和用于文档存储的 CouchDB。另一种选择是开源的 SimpleDB 实现 M/DB。新的 Simple Cloud APIs 可用于文件存储、文档存储服务和简单队列，有助于在学术云和商业云之间提供一个通用环境。 ##### 1.2 排队服务 亚马逊和 Azure 都提供类似的可扩展、健壮的排队服务，用于应用程序组件之间的通信。消息较短（小于 8 KB），具有 Representational State Transfer (REST) 服务接口，遵循“至少传递一次”的语义。这些服务通过超时控制来规定客户端处理的时间。在学术环境中，通常规模较小且挑战相对较少，可以基于发布 - 订阅系统（如 ActiveMQ 或 NaradaBrokering）构建类似的方法。 #### 2. 编程与运行时支持 编程和运行时支持对于促进并行编程以及为当今的网格和云环境中的重要功能提供运行时支持至关重要。以下将对各种 MapReduce 系统进行介绍。 ##### 2.1 工作角色和 Web 角色 Azure 引入的角色提供了重要功能，同时保留了在非虚拟化环境中可能实现的更好的亲和性支持。工作角色是基本的可调度进程，会自动启动。在云中，对于单个工作角色以及 MapReduce 中透明支持的“组调度”，无需显式调度。队列在这里是一个关键概念，它为以容错、分布式的方式管理任务分配提供了自然的方法。Web 角色为门户提供了一种有趣的实现方式。GAE 主要针对 Web 应用程序，而科学网关在 TeraGrid 中取得了成功。 ##### 2.2 MapReduce “数据并行”语言受到了广泛关注，主要用于处理在不同数据样本上执行的松散耦合计算。这种语言和运行时能够生成并高效执行“多任务”问题，这些问题在网格应用中已被证明是成功的。然而，MapReduce 具有一些优于传统实现的优势，具体比较如下表所示： | 系统 | 编程模型 | 数据处理 | 调度 | 故障处理 | HLL 支持 | 环境 | 中间数据传输 | | --- | --- | --- | --- | --- | --- | --- | --- | | Google MapReduce | MapReduce | GFS (Google File System) | 数据局部性 | 重新执行失败任务；重复执行慢速任务 | Sawzall | Linux 集群 | 文件 | | Apache Hadoop | MapReduce | HDFS (Hadoop Distributed File System) | 数据局部性；机架感知，使用全局队列进行动态任务调度 | 重新执行失败任务；重复执行慢速任务 | Pig Latin | Linux 集群，亚马逊 EC2 上的 Elastic MapReduce | 文件，HTTP | | Microsoft Dryad | DAG 执行，可扩展到 MapReduce 和其他模式 | 共享目录和本地磁盘 | 数据局部性；运行时优化网络拓扑；静态任务分区 | 重新执行失败任务；重复执行慢速任务 | DryadLINQ | Windows HPCS 集群 | 文件，TCP 管道，共享内存 FIFO | | Twister | 迭代 MapReduce | 本地磁盘和数据管理工具 | 数据局部性；静态任务分区 | 重新执行迭代 | Pregel 有相关特性 | Linux 集群，EC2 | 发布 - 订阅消息传递 | | Azure Twister | 目前仅支持 MapReduce；将扩展到迭代 MapReduce | Azure blob 存储 | 通过全局队列进行动态任务调度 | 重新执行失败任务；重复执行慢速任务 | N/A | Windows Azure，Azure 本地开发结构 | 文件，TCP | MapReduce 支持动态执行、强大的容错能力以及易于使用的高级接口。主要的开源/商业 MapReduce 实现包括 Hadoop 和 Dryad，可以在有或没有虚拟机的情况下执行。亚马逊目前提供 Hadoop，预计 Dryad 将在 Azure 上可用。印第安纳大学构建了一个 Azure MapReduce 原型。在 FutureGrid 中，计划支持 Hadoop、Dryad 和其他 MapReduce 方法，包括 Twister 对许多数据挖掘和线性代数应用中常见的迭代计算的支持。与其他云平台特性相比，MapReduce 更接近广泛部署，因为在云环境之外已经有了大量使用 Hadoop 和 Dryad 的经验。 ##### 2.3 云编程模型 前面的大部分内容都描述了编程模型的特性，但这些是“宏观”的构建，并未涉及具体的编码（语言和库）。GAE 和 Manjrasoft Aneka 环境都代表了编程模型，它们都应用于云环境，但实际上并不特定于这种架构。迭代 MapReduce 是一种有趣的编程模型，它提供了在云、高性能计算和集群环境之间的可移植性。 ##### 2.4 SaaS 服务在商业云和大多数现代分布式系统中的使用方式类似。期望用户尽可能将他们的程序打包，因此无需特殊支持即可实现 SaaS。在数据库服务的背景下，“系统软件即服务”是一个有趣的概念。我们需要一个 SaaS 环境，为在大型数据集上开发云应用程序提供许多有用的工具。除了技术特性（如 MapReduce、BigTable、EC2、S3、Hadoop、AWS、GAE 和 WebSphere2）之外，还需要保护特性来帮助实现可扩展性、安全性、隐私性和可用性。 #### 3. 并行和分布式编程范式 我们将并行和分布式程序定义为在一组计算引擎或分布式计算系统上运行的并行程序。这个术语包含了计算机科学中的两个基本概念：分布式计算系统和并行计算。分布式计算系统是一组通过网络连接的计算引擎，旨在实现运行作业或应用程序的共同目标，例如计算机集群或工作站网络。并行计算是指同时使用多个计算引擎（不一定通过网络连接）来运行作业或应用程序，例如可以使用分布式或非分布式计算系统（如多处理器平台）。 在分布式计算系统上运行并行程序（并行和分布式编程）对用户和分布式计算系统都有多个优点。从用户的角度来看，它可以减少应用程序的响应时间；从分布式计算系统的角度来看，它可以提高吞吐量和资源利用率。然而，在分布式计算系统上运行并行程序可能是一个非常复杂的过程。 ##### 3.1 并行计算和编程