并行与分布式系统架构解析

### 并行与分布式系统架构解析 #### 1. 多总线解决方案 在并行与分布式系统中，多总线是一种重要的架构设计。可以将地址空间进行分区，例如给两条总线分别分配奇数地址和偶数地址，或者为每个存储体分配一条总线。考虑到实际的总线频率和缓存目录查找时间，对于少数几条总线，窥探逻辑对缓存的压力是可以承受的。但此时面临的数据一致性问题，可以通过定义同时进行的多个物理访问的逻辑访问顺序来解决。 这种多总线解决方案在一些系统中得到了应用： | 系统名称 | 总线情况 | | ---- | ---- | | Sun SparcCenter 2000 | 两条相同的 XBbus | | Cray CS6400 | 四条相同的总线 | | Enterprise 10000 | 四条地址总线（每个存储体一条）和一个用于数据传输的交叉开关 | #### 2. 共享总线系统示例 通过分析最新共享总线系统的特性，可以看出需求的快速演变。地址总线通常保持共享，以通过窥探协议维持数据一致性，而改进主要集中在数据路径上，从处理器与主存之间的专用总线发展为在系统中起核心作用的交叉开关，这使得数据块可以直接在缓存之间流动。SGI Challenge 就是当前对称多处理器（SMP）的一个很好的例子。 SGI Challenge 的相关参数如下： - 共享总线名为 Powerpath - 2，是一个 16 插槽的非复用总线，最多可容纳 9 个处理器板（每个板上有 4 个 R4400 或 2 个 R8000）、4 个内存板和 I/O 板。 - 总线时钟频率为 47.5 MHz，一个地址事务需要 5 个总线周期：一个用于启动仲裁阶段，一个用于仲裁解决，一个用于发送地址，一个用于检查一致性，最后一个用于确认一致性检查。空闲时，总线仅在前面两个状态循环。 - 地址总线大小为 40 位，地址空间为 1 太字节。 - 内存板包含两个 512 位宽的 DRAM 存储体，每个存储体的大小取决于技术，目前为 1 吉字节。 - 数据总线为 256 位宽。一个缓存块为 128 字节宽，可在两个内存周期内读取，并在四个周期内通过总线发送。数据事务也占用 5 个周期，其中一个总线周期用作新主设备驱动线路的周转时间。 - 地址和数据事务是同步的，最多可以有 8 个读操作同时进行。每个处理器在缓冲区中记录这些请求的历史。因此可以使用改进的伊利诺伊 MESI 协议，因为每个处理器可以窥探地址和数据总线。如果请求的块在缓冲区中且正在处理中，则该请求将被延迟，直到在总线上看到数据。这样，针对同一数据块的事务被序列化，为事务提供了“逻辑”原子性。 此外，还有其他一些商业 SMP 系统，其特性如下表所示： | 系统名称 | 总线类型 | 频率 | 地址传输时间 | 数据传输时间 | 原始带宽 | 有效数据带宽 | | ---- | ---- | ---- | ---- | ---- | ---- | ---- | | Sun XDBus | 64 位 AID 复用总线 | 40 MHz | 2 周期 | 9 周期（64 字节） | 320 MB/s | 250 MB/s | | Bull ESCALA | 共享地址总线，专用 64 位数据链路 | 75 MHz | 2 周期 | 4 周期（32 字节） | 3 GB/s | 2.4 GB/s | | SGI Power Challenge | 独立的 AID 总线，地址 40 位，数据 256 位 | 47.6 MHz | 5 周期 | 5 周期（128 字节） | 1.6 GB/s | 1.2 GB/s | | mMG30SMP | 共享地址总线，专用数据链路 | - | - | - | - | - | #### 3. 非基于总线的共享内存多处理器 当考虑非共享总线解决方案时，会面临新维度的数据一致性问题。在现代多处理器中，处理器节点通常本身就是对称多处理器，管理部分主存，并配备接口逻辑，负责处理器与主存之间以及主存与网络之间的接口。为简单起见，假设每个节点只有一个处理器，处理器使用加载和存储操作进行内存访问，有些是本地访问，有些是远程访问，而接口逻辑以隐藏的方式提供所需的访问。同时，接口逻辑还必须在处理本地请求的同时响应系统中其他节点发出的远程请求。 下面是其架构的 mermaid 流程图： ```mermaid graph LR A[处理器] --> B[接口逻辑] B --> C[主存] B --> D[网络] ``` #### 4. 软件与硬件一致性检查 处理一致性问题的第一种方法是将其交给软件层面。软件需要解决两个问题：一是将数据分布到所有本地内存中，二是尝试判断哪些数据是私有的，哪些是共享的。数据可分为四种类型：私有本地数据、私有远程数据、共享本地数据和共享远程数据。 - 私有本地数据显然可以缓存。 - 若接口逻辑能够处理缓存块传输，私有远程数据也可以缓存。 - 缓存共享数据则更为复杂，因为必须保证数据的一致性。如果处理器指令集实现了单块刷新指令、同一页面的块刷新指令或整个缓存刷新指令，那么数据可以临时缓存。内存管理单元（MMU）可以轻松标记数据是否可缓存，因为每个页面描述符都有一个用于此目的的位。 当并非所有处理器都能看到读写操作时，维持数据一致性需要不同的方法。在窥探协议中，每个处理器实时更新其缓存中数据的最新信息，初始副本总是来自内存。这启发了另一种解决方案，即在内存层面记录和更新所有缓存中分发的所有数据块的状态，这类解决方案统称为“目录协议”。 #### 5. 基于目录的缓存一致性 每个内存块都关联一组状态信息。如果采用失效策略，由于一个数据块可能有多个读副本，但只有一个写副本，最简单的记录方式是为每个数据块关联一个 n + 1 位的存在状态向量，其中 n 是处理器的数量。第 n + 1 位是脏位，指示该块是以读还是写状态缓存，其他 n 位指示哪些缓存拥有该块的副本（写时只有一个）。同时，本地也需要知道数据块的状态，这与窥探协议类似。 该协议的工作方