1、并行计算入门指南-CSDN博客

本文链接：https://blog.csdn.net/week9/article/details/150084985

并行计算入门指南

在当今科技飞速发展的时代，并行计算已经成为科学和工程领域中不可或缺的一部分。它能够显著提高计算效率，解决复杂的大规模问题。本文将深入探讨并行计算的相关知识，包括其基本概念、不同的并行模式以及实际应用中的操作步骤。

1. 并行计算的背景与重要性

并行计算的发展历程充满了惊喜与变革。曾经，20世纪80年代超级计算机的强大运算能力，如今已能在普通的PC和Mac电脑中轻松实现。谁能想到，曾经体积庞大的向量处理计算机，现在可以轻松地装在学生的背包里。而且，早期被轻视的磁存储介质，如今2GB的磁盘驱动器直径仅1英寸，还能安装在PC卡中。

过去三年，横滨地球模拟器一直位居著名的Top 500超级计算机榜首。它的成功秘诀在于将精心设计的网络与强大的向量处理器节点相结合。这一成功案例揭示了现代计算机架构中数据访问的重要性。现代计算机内部时钟周期小于纳秒，这决定了浮点计算的时间尺度。但处理器从不同节点获取数据时，会产生显著的延迟。比如，从同一节点内不同处理器的内存获取数据，通常需要约1微秒的延迟，相当于1000个以上的时钟周期；而通过消息传递从不同节点获取数据，则需要超过100微秒。

由此可见，如果数据位于处理器本地，使用速度会非常快；如果数据在紧密耦合的处理器节点上，大约需要一千个以上的数据项才能分摊从其他处理器内存中获取数据的延迟；如果数据必须从其他节点获取，为了抵消获取数据的延迟，数据量应该是前者的100倍以上。因此，NEC和Cray等公司倾向于采用强大的节点，并配备更强大的处理器，同时期望程序具有分块或分段的数据结构。