并行与分布式系统中的输入/输出技术解析

### 并行与分布式系统中的输入/输出技术解析 #### 1. 引言 在过去几年里，并行和分布式计算机系统的输入/输出（I/O）问题受到了计算机系统设计者和用户的高度关注。如今，I/O 性能而非 CPU 性能，很可能成为限制系统性能的关键因素。为了降低这一限制因素对未来系统的影响，众多关于并行和分布式系统中 I/O 瓶颈的研究已经展开。 I/O 子系统成为瓶颈并对整体系统性能愈发重要的原因主要有以下几点： - **CPU 与 I/O 设备速度不匹配**：在过去几十年中，CPU 速度的提升幅度远远超过了 I/O 设备。CPU 速度每年增长 50 - 100%，而磁盘访问时间在十年内仅减少了约三分之一，且这种趋势在未来可能会持续。 - **并行和分布式计算机中的串行瓶颈**：在并行和分布式计算机中，多个 CPU 同时运行提高了计算性能，但 I/O 却成为了串行瓶颈，限制了系统的可扩展性。 - **新应用带来的巨大 I/O 需求**：多媒体、图形处理以及地震处理、气候建模等重大挑战性问题等新的科学和商业应用领域，产生了大量的 I/O 需求。 #### 2. I/O 的应用与需求 在科学计算领域，处理大量数据的应用，如气候建模、地震处理和数据库操作，通常会遇到 I/O 瓶颈。特别是对于重大挑战性问题，I/O 瓶颈的影响日益严重，已成为公认的严重障碍。许多科学应用每次运行会产生 1GB 的 I/O，甚至有些应用的 I/O 量比这还要高出一个数量级。未来，随着对现象研究的规模增大和分辨率提高，I/O 总需求和速率都将持续增加，当前应用对二级存储的 I/O 速率要求为数十 MBps，而不久的将来可能需要约 1GBps。 在数据库领域，类似的趋势也很明显，尤其是数据挖掘等应用。如今，新的应用需要对千兆字节甚至万亿字节的数据进行大规模数据库搜索，如人类基因组图谱绘制。 此外，图像可视化和多媒体信息处理等新的应用类型迅速普及。多媒体信息系统对吞吐量的要求远高于传统计算机应用，并且还引入了实时和同步数据传输等传统应用中不存在的限制条件。因此，需要并行 I/O 架构来支持并行计算架构。 #### 3. I/O 架构基础与术语回顾 典型的单处理器架构中，处理器 - 内存总线通常是专用设计，短且高速，旨在匹配内存系统以最大化处理器 - 内存带宽。而 I/O 总线则基于标准总线，如 SCSI 或 PCI，可能较长，可连接磁盘、网络或打印机等不同类型的设备，数据带宽范围广泛。 I/O 总线通常不直接连接到内存，而是通过总线适配器连接专用的处理器 - 内存总线和 I/O 总线。特定 I/O 设备与标准总线的连接通过控制器实现，这些控制器还负责解释总线上的标准 I/O 命令，管理设备的底层操作。 数据从磁盘传输到内存的路径为：磁盘数据先流经 I/O 总线，通过总线适配器，再穿过处理器 - 内存总线，最终进入内存。若要将数据发送到另一个处理器，数据需从内存流出，再次经过处理器 - 内存总线、总线适配器、I/O 总线、网络接口，最后通过网络传输。在这个过程中，任何一个组件都可能成为瓶颈，且由于内存和处理器 - 内存总线被多次使用，它们的带宽必须是磁盘或网络总带宽的 2 到 4 倍。 并行计算机中的架构系统基于 SIMD 和 MIMD 机器，其中 MIMD 机器又可分为并行分布式内存计算机和并行共享内存计算机。并行计算机中通常有三种类型的节点： - **计算节点**：执行数值和浮点计算，通常除了用于分页、启动和操作系统软件外，没有本地磁盘。 - **I/O 节点**：包含系统的二级存储，并提供并行文件系统服务。 - **网关节点**：提供与外部数据服务器和大容量存储系统的连接。 有时，一个节点可以承担多种功能，例如一个节点常同时处理 I/O 和网关功能。 以下是单处理器架构中数据传输路径的 mermaid 流程图： ```mermaid graph LR A[磁盘] --> B[I/O 总线] B --> C[总线适配器] C --> D[处理器 - 内存总线] D --> E[内存] E --> F[处理器 - 内存总线] F --> G[总线适配器] G --> H[I/O 总线] H --> I[网络接口] I --> J[网络] ``` #### 4. 并行 I/O 架构设计的基本问题 目前，大多数并行计算机都采用基于多个 I/O 节点的内部并行 I/O 子系统，它能在计算节点和 I/O 节点之间并行传输数据。此外，这些多处理器通常还连接到外部大容量存储系统。 内部并行 I/O 子系统具有许多优势： - **高效性能**：使用多