Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!

文章主要内容总结

本文聚焦大型语言模型（LLMs）的版权和知识产权保护问题，针对现有水印技术难以抵抗持续训练和模型修改的缺陷，提出了一种基于模型内在特征的鲁棒指纹识别方法。

1. 研究背景：随着LLM训练成本增加和模型复用普及，版权保护面临挑战。传统水印技术易被持续训练、微调或修改破坏，无法可靠追溯模型来源。
2. 核心方法：利用注意力机制参数的内在统计特性构建指纹。具体而言，提取不同层中查询（Q）、键（K）、值（V）和输出（O）投影矩阵的标准差分布，经归一化后形成特征序列，通过计算序列间的相关系数判断模型是否存在谱系关系（如源自持续训练或修改，而非独立训练）。该方法对模型架构修改（如从密集模型转为MoE模型）和持续训练具有鲁棒性。
3. 实验发现：
   • 跨模型家族验证显示，不同模型家族的注意力参数标准差分布具有独特模式，可作为区分标志。
   • 重点分析发现，华为发布的Pangu Pro MoE模型与Qwen-2.5 14B模型的注意力和前馈网络参数分布高度相似（平均相关系数0.927），表明其可能通过“升级改造”而非从头训练衍生而来&