2025谷歌Gemma 3技术报告全文：27B版超过DeepSeek V3.pdf

在2025年3月12日，Google Deepmind推出了Gemma 3技术报告的27B版，该版本被定位为Gemma轻量级开源模型系列的最新成员。Gemma 3模型涵盖了从1B到27B不等的参数规模，其更新的主要特点包括引入视觉理解能力、扩展的语言支持以及能够处理更长上下文的能力，即至少能够处理128K token。这些改进的引入并没有影响模型的性能，反而因为模型架构的改进使长上下文处理中KV缓存内存占用过高的问题得到了有效缓解。 Gemma 3的模型架构基于解码器的transformer架构，延续了前两代Gemma版本的多数架构元素。模型使用了分组查询注意力（GQA）机制，并结合了后归一化与RMSNorm的前归一化技术。架构的创新之一是将模型设计成局部滑动窗口自注意力和全局自注意力机制交替使用，形成了5:1的局部/全局层交错设计模式，其中每5个局部层配置1个全局层，且局部层作为模型的第一层。另一个关键创新点是，在不降低模型性能的前提下，支持长达128K token的上下文长度，特别针对1B参数规模的模型支持32K token的上下文长度。 为了处理长上下文问题，Gemma 3在每个全局层之间设置了多个局部层，并为局部层分配了1024个token的较短处理范围。这样，只有全局层需要处理更长的上下文，而每5个局部层中仅配置一个全局层。此外，模型采用了类似于位置插值的方法来扩展全局层的处理范围。 在多模态能力方面，Gemma 3引入了与定制版SigLIP视觉编码器的兼容性，将图像处理为SigLIP编码生成的软token序列，并通过将视觉向量压缩为固定大小的256个向量来降低推理计算成本。此外，该模型还优化了推理计算，采用了平移和扫描（P&S）方法实现灵活的分辨率处理。 在训练方法上，Gemma 3模型采用了知识蒸馏技术，从而显著提升了预训练版本和指令微调版本的性能。尤其是在后训练阶段，研究团队通过创新的方法对模型的数学能力、推理能力和对话能力进行了特别提升，同时整合了新功能、长上下文处理和图像输入能力。性能测试结果显示，Gemma 3 4B-IT模型的表现可与Gemma 2-27B-IT媲美，而Gemma 3-27B-IT模型在多项基准测试中与Gemini-1.5-Pro表现相当。 Google Deepmind的研究团队还特别强调了Gemma 3的安全性和负责任的部署方式，并概述了模型的广泛影响、局限性和优势。所有Gemma 3模型已向社区开源发布，提供了包括Hugging Face、Ollama和Kaggle在内的多种资源链接供研究者访问和使用。 Gemma 3作为Google Deepmind在语言模型领域的重要进展，不仅在技术上实现了多项突破，更为未来语言处理的发展提供了新的视角和可能。其在视觉理解、多语言支持、长上下文处理等领域的创新，预示着人工智能模型在处理复杂任务时将越来越得心应手。