实现加速且经济高效的分布式RAID

### 实现加速且经济高效的分布式 RAID 在大规模存储服务器领域，容错方案大多依赖于专有、昂贵且灵活性和可扩展性有限的硬件解决方案。而今天要介绍的是一种使用通用 GPU 在软件中实现 RAID - 6 的经济高效替代方案，它与 Lustre PFS 结合，为我们带来了新的可能。 #### 1. Tesla GPU 在重负载下的编码性能 在 N 体模拟的重负载下，我们对 Tesla GPU 的编码速率进行了研究。使用 CUDA SDK 中的 N 体模拟，并按照 Tesla GPU 的规格，以默认数量的对象在基准测试模式下运行多次迭代。 - **吞吐量表现**：即使在重负载下，除了最小的文件，Tesla GPU 仍能提供足够的吞吐量。对于小文件，由于重负载，编码开销会以增加延迟的形式暴露给系统。 - **并行处理能力**：模拟性能不受奇偶校验生成内核的影响，始终保持在 484.650 单精度 GFLOP/s。这是因为 Tesla GPU 可以在核边界进行高效的上下文切换，不同上下文的异步数据传输可以同时进行。例如，在模拟内核运行时，奇偶校验数据可以传输到 GPU，反之亦然。而且，奇偶校验生成内核的完成速度比模拟内核快 2 - 3 倍。 - **不同背景负载的影响**：并非所有 GPU 上的背景负载对奇偶校验生成都有相同的影响。像 N 体模拟这种内核执行时间在毫秒级的迭代工作负载，不会阻塞奇偶校验内核，也不会导致系统出现不可接受的减速。但对于执行时间在秒级的 GPU 内核，可以使用“上下文漏斗”等替代技术来最小化开销，不过这需要修改 GPU 工作负载，比如将其作为 KGPU 服务，这样即使是长时间运行的内核也能同时进行奇偶校验生成。 #### 2. 磁盘数量对吞吐量的影响 我们研究了文件条带化所跨越的对象存储目标（OST）数量对系统写入吞吐量的影响。 - **256 MB 文件的情况**：当文件条带化跨越 6 个或更少的 OST 时，它无法放入客户端缓存，因此应用程序会暴露原始网络带宽。如果 256 MB 文件条带化跨越超过 6 个驱动器，奇偶校验会被缓存，并在写入返回后刷新。由于写入可以放入缓存，吞吐量会趋于平稳。但随着文件大小不变，将其拆分并提交到更多缓存会变得效率低下，导致吞吐量略有下降。 - **1024 MB 文件的情况**：条带化对 1024 MB 文件的写入没有这种影响，因为文件及其奇偶校验无法被缓存。在数据写入情况下，将文件条带化到更多驱动器可以实现更好的吞吐量，因为可以有效利用带宽。对于数据 + 奇偶校验写入情况，减少驱动器数量会减小 RAID 6 阵列的长度，例如，将数据条带化到四个磁盘会生成一个 (4,2) RAID 6 阵列，其中条带中的四个对象是数据，其余是奇偶校验，奇偶校验开销为 50%。增加阵列长度会减小奇偶校验的相对大小，例如，在 (16,2) RAID 6 阵列中，奇偶校验为 12.5%。因此，对于数据 + 奇偶校验写入情况，随着阵列长度的增加，可用于数据的吞吐量会线性增加。 | 文件大小 | 条带化磁盘数量影响 | | ---- | ---- | | 256 MB | 6 个及以下 OST 时暴露原始网络带宽；超 6 个驱动器缓存奇偶校验，吞吐量先平稳后因拆分效率低略降 | | 1024 MB | 条带化无明显影响，写入更多驱动器因带宽利用高效提升吞吐量 | 下面是磁盘数量与吞吐量关系的 mermaid 流程图： ```mermaid graph LR A[选择文件大小] --> B{是否为 256 MB 文件} B -- 是 --> C{条带化 OST 数量 <= 6} C -- 是 --> D[暴露原始网络带宽] C -- 否 --> E[缓存奇偶校验，吞吐量先平 ```