NVIDIA GH200 Grace Hopper 超級晶片

NVIDIA GH200 Superchip 透過 NVLink-C2C 整合 Arm® 技術 Grace CPU 與 Hopper GPU 架構，加快全球超級電腦科學研究與發現的速度。超級電腦整合上述技術後，利用 NVIDIA Grace Hopper Superchip 提供每秒 200 艾次浮點運算或 2 萬京次計算的節能人工智慧處理能力。

近期儲存與網路頻寬技術有所進展，但摩爾定律終結，因此 CPU 反倒成了分析與查詢時的瓶頸。在 GH200，CPU 與 GPU 共用單一每行程頁表，所有 CPU 和 GPU 執行緒因而得以存取所有系統分配的記憶體，而且記憶體的位置可以是實體 CPU 或 GPU 記憶體。GH200 再也不必在 CPU 與 GPU 之間反覆複製記憶體，資料處理速度加快 36 倍。

檢索增強生成 (RAG) 連線大型語言模型 (LLM) 與知識庫可提升模型準確度。RAG 需要大規模生成嵌入及執行向量搜尋。72 個節能的 Arm 技術 Grace CPU 核心加速預先處理知識庫資料，而且相較於 PCIe，NVLink-C2C 將傳輸預先處理資料至 Hopper GPU 的速度加快 7 倍，嵌入生成程序最終得以加速 30 倍。

圖神經網路 (GNN) 應用廣泛，例如社群網路分析、藥物發現、詐騙偵測與分子化學。相較於 H100 PCIe GPU，GH200 利用 624 GB 整合的 CPU 與 GPU 快速記憶體、4 petaFLOPS 的 H200 GPU 與每秒 900 GB NVLink-C2C，GNN 訓練的速度加快達 8 倍。