SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models

UnknownBody

于 2024-03-06 10:56:06 发布

阅读量113

点赞数

CC 4.0 BY-SA版权

分类专栏：隐私保护 LLM Inference 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136498849

LLM 日更同时被 3 个专栏收录

828 篇文章

已下架不支持订阅

LLM Inference

46 篇文章

订阅专栏

隐私保护

1 篇文章

订阅专栏

SecFormer是针对大型语言模型，特别是基于Transformer的模型，解决安全多方计算（SMPC）中性能下降问题的优化框架。通过消除高成本指数运算和最大运算，以及开发高效SMPC协议处理非线性函数，SecFormer实现了快速且准确的隐私保护推理（PPI）。实验结果显示，SecFormer在BERTBASE和BERTLARGE上的性能分别提高24.2%，并比Puma快3.56到3.58倍。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《SecFormer: Towards Fast and Accurate Privacy-Preserving Inference for Large Language Models》的翻译。

摘要

随着云平台上托管的大型语言模型越来越多地用于提供推理服务，隐私问题也在升级，尤其是涉及投资计划和银行账户详细信息等敏感数据。安全多方计算（SMPC）是一种很有前途的保护推理数据和模型参数隐私的解决方案。然而，SMPC在大型语言模型的隐私保护推理（PPI）中的应用，特别是那些基于Transformer架构的模型，往往会导致性能显著下降。这在很大程度上是由于Transformer架构中的大量非线性操作，这些操作不太适合SMPC，并且难以有效规避或优化。为了解决这一问题，我们引入了一种名为SecFormer的高级优化框架，以实现Transformer模型的快速准确PPI。通过实现模型设计优化，我们成功地消除了PPI中的高成本指数运算和最大运算，而不牺牲模型性能。此外，我们还开发了一套高效的SMPC协议，利用分段多项式、傅立叶级数和Goldschmidt方法来处理PPI中的其他复杂非线性函数，如GeLU、LayerNorm和Softmax。我们的大量实验表明，SecFormer的性能优于MPCFormer，提高了5.6%BERTBASE和BERTLARGE分别为24.

了解本专栏