Serving LLMs in HPC Clusters: A Comparative Study of Qualcomm Cloud AI 100 Ultra and HighPerformance

文章主要内容和创新点

主要内容

本文针对在高性能计算（HPC）集群中运行大型语言模型（LLMs）的场景，对高通Cloud AI 100 Ultra（QAic）加速器与主流高性能GPU（包括NVIDIA A100、H200，AMD MI300A）进行了基准测试与对比分析。研究以15个参数规模从1.17亿到900亿的开源LLM为测试对象，采用vLLM作为服务框架，重点评估了不同硬件在推理任务中的性能（吞吐量，即每秒生成的tokens）和能效（每瓦每秒生成的tokens）。

实验在国家研究平台（NRP）的真实HPC环境中进行，控制了资源干扰（如独占节点、固定CPU配置）以确保结果准确性。结果显示：

• 高通QAic在大多数情况下能效更优，尤其在单卡配置中，对小到中型模型（如GPT-2-117M、TinyLlama-1.1B）的能效优势显著（最高达26 tokens/(sec·watt)）；
• QAic的吞吐量在部分模型（如Llama3.3-90B-Vision）中超过GPU，但其优势随模型规模增大有所减弱，部分大型模型（如Granite-20B