QWEN2 TECHNICAL REPORT

已于 2024-11-19 16:24:50 修改
阅读量677 收藏
点赞数 14
CC 4.0 BY-SA版权
分类专栏： LLM Daily Technical Report 文章标签： 语言模型 人工智能
于 2024-07-23 11:15:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/140630536

本文是LLM系列文章，针对《QWEN2 TECHNICAL REPORT》的翻译。

QWEN2技术报告

摘要

本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，参数范围从5亿到720亿，包括密集模型和混合专家模型。Qwen2超越了包括其前身Qwen1.5在内的大多数先前的开放权重模型，并在语言理解、生成、多语言能力、编码、数学和推理等不同基准上表现出与专有模型相比的竞争性能。
旗舰模型Qwen2-72B表现卓越：在MMLU上为84.2，在GPQA上为37.9，在HumanEval上为64.6，在GSM8K上为89.5，在作为基础语言模型的BBH上为82.4。指令调整变体Qwen2-72B-Induce在MT Bench上达到9.1，在Arena Hard上达到48.1，在LiveCodeBench上获得35.7。此外，Qwen2展示了强大的多语言能力，精通约30种语言，涵盖英语、中文、西班牙语、法语、德语、阿拉伯语、俄语、韩语、日语、泰语、越南语等，突显了其多功能性和全球影响力。
为了促进社区创新和可访问性，我们在Hugging Face和ModelScope上公开了Qwen2模型权重，并在GitHub上提供了包括示例代码在内的补充材料。这些平台还包括用于量化、微调和部署的资源，促进了广泛的应用和研究工作。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
论文翻译：QWEN2 TECHNICAL REPORT
CSPhD-winston的博客
10-09 761
本报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型的最新成员。我们发布了一套全面的基础和指令调优语言模型，涵盖了从0.5亿到720亿的参数范围，包括密集模型和专家混合模型。Qwen2超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并在语言理解、生成、多语种熟练度、编程、数学和推理等多样化基准上展现出与专有模型相竞争的性能。在MMLU上得分84.2，在GPQA上得分37.9，在HumanEval上得分64.6，在GSM8K上得分89.5，在BBH上得分82.4。
Qwen2.5-VL Technical Report
c_cpp_csharp的专栏
02-26 229
我们推出Qwen2.5-VL，这是Qwen视觉语言系列的最新旗舰模型，它在基础功能和创新功能方面都取得了重大进展。Qwen2.5-VL通过增强的视觉识别、精确的对象定位、强大的文档解析和长视频理解，在理解和与世界互动方面实现了重大飞跃。Qwen2.5-VL的一个突出特征是它能够使用边界框或点准确定位对象。它提供了从发票、表单和表格中提取强大的结构化数据，以及对图表、示意图和布局的详细分析。
Qwen2 技术报告（中文版）
热门推荐
木尧大兄弟
07-17 1万+
这篇技术报告介绍了Qwen2系列，这是我们大型语言模型和大型多模态模型系列中的最新成员。我们发布了一套全面的基础和指令调整语言模型，参数范围从0.5b 到 72b，包括稠密模型和专家混合模型。Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中，超越了大多数以前的开放权重模型，包括其前身Qwen1.5，并且与专有模型表现出竞争力。
【LLM技术报告】Qwen2 Technical Report
强化学习曾小健
11-21 1163
自从ChatGPT问世以来，全球范围内对LLM的热情迅速升温。Llama系列的发布进一步激发了开源社区对GPT级本地LLM的兴趣。最近，Claude-3 Opus和GPT-4o作为更新的ChatGPT模型，迅速登顶Chatbot Arena（该平台以其对LLM的人工评估而著称）。此外，Llama-3作为最先进的开源权重模型系列问世，缩小了与领先的专有模型之间的性能差距，被广泛认为达到了GPT-4级别。
【论文阅读】QWEN2 TECHNICAL REPORT
li_li_rui的专栏
07-22 1556
本文介绍了阿里巴巴集团Qwen团队开发的Qwen2系列大型语言模型和多模态模型，这些模型在参数范围从0.5亿到720亿不等，包括密集模型和专家混合模型。Qwen2在语言理解、生成、多语言能力、编程、数学和推理等多个基准测试中表现出色，超越了大多数先前开放权重模型，并与专有模型竞争。旗舰模型Qwen2-72B在多项测试中取得了显著成绩，展示了其在多语言环境中的强大能力和全球适用性。文章还详细介绍了模型的架构、预训练和后训练过程，以及如何通过监督微调和人类反馈强化学习来调整模型以更好地遵循指令。最后，文章提到Q
【Qwen模型】QWEN TECHNICAL REPORT
十一月廿七风雨大作
04-19 7071
在阅读了本篇论文和`transformers`库里面的`Qwen2Model`源码之后，我观察到模型用的组件tricks有RoPE（苏剑林提出）、RMSNorm、SwiGLU、SdpaAttention等等；
大语言模型之Qwen2技术报告阅读笔记
David_house的博客
08-26 1787
Qwen2 包括更广泛的语言数据，提高了代码和数学内容的数量和质量所有模型都经过监督微调和直接偏好优化 ，通过学习人类反馈将它们与人类偏好对齐超越了大多数先前的开放权重模型，包括它的前身 Qwen1.5在语言理解、生成、多语言熟练程度、编码、数学和推理的不同基准上相对于专有模型表现出具有竞争力的性能Qwen2 展示了强大的多语言能力，精通大约 30 种语言特别是Qwen2-72B在多个评估指标上展示了显着的性能。
Qwen3 Technical Report
最新发布
05-21
内容概要：本文介绍了Qwen3，这是Qwen系列模型的最新版本。Qwen3是一系列大型语言模型（LLMs），旨在提升性能、效率和多语言能力。它包括密集型和专家混合（MoE）架构的模型，参数规模从0.6亿到2350亿不等。Qwen3的...
Qwen2.5 Technical Report 详细技术报告
12-25
Qwen2.5是一系列广泛的大语言模型（LLMs），旨在满足各种不同的需求。与之前的版本相比，Qwen2.5在预训练和后训练阶段都得到了显著改进。在预训练方面，我们从之前的7万亿个标记扩展到了18万亿个标记的高质量预训练...
Qwen2 技术报告：阿里巴巴开源全新一代大语言模型，性能超越 Llama-3!
m0_59235699的博客
07-28 1182
Qwen2 系列模型的开源，标志着阿里巴巴在 LLM 领域取得了新的突破。相信 Qwen2 将会进一步推动 LLM 的发展，并为各行各业带来新的机遇。
QWEN2技术报告阅读笔记（第一部分，分词器和模型设计）
weixin_43913382的博客
08-19 1459
突出性能：语言理解、生成、多语言熟练程度、代码（重点提高）、数学（重点提高）和推理（间接提高）评测集：MMLU（科学知识）、GPQA（科学知识）、HumanEval（代码）、GSM8K（数学）、BBH（通用）、MT-Bench（多轮能力）、Arena-Hard（通用）、LiveCodeBench（代码）监督微调和直接偏好优化（DPO），赋予模型有效遵循指令的能力。
论文阅读--Qwen2&2.5技术报告
m0_73202283的博客
01-20 1195
后训练数据主要由两部分组成：对齐数据 D = { ( x i , y i ) } 和偏好数据 P = { ( x i , y i + , y i − ) } ，其中 x i 代表指令，y i代表满意的响应，y i +和 y i − 是对 x i 的两种响应，y i + 是比 y i − 更受偏好的选择。不同地，我们的模型采用了细粒度专家，创建了规模更小的专家，同时激活了更多的专家。与之前的Qwen模型类似，高质量的多任务指令数据被整合到Qwen2的预训练过程中，以增强上下文学习和指令跟随能力。
Qwen2-VL series 技术报告解读
zenRRan的博客
09-26 3214
知乎：Cassie链接：https://zhuanlan.zhihu.com/p/721908386写在前面Qwen团队在 2024年9月19日开源了Qwen2-VL-72B 模型，并发布了技术报告。这里简单介绍下“国货之光”——Qwen2-VL-72B 的技术细节。1. Contributions(1) 多语言模型Qwen 在多语言OCR任务上的表现。(2) 支持任意分辨率、比例的素材(img ...
QWEN technical report
liguandong
10-26 918
在中文，增加了常用的汉字和词汇以及其它语言中的词汇，遵循llama系列的方法，将数字拆分成单个数字，最终词汇为152k。去重，精确匹配去重和使用MinHash和LSH模糊去重，过滤低质量的数据，采用了基于规则和基于机器学习的方法的组合，使用多个模型对内容进行评分，包括语言模型、文本质量评分模型以及用于识别有可能含有不合适的内容的模型。阿里在很早前就开源了Qwen-7B模型，但不知道为什么又下架了。就在昨天阿里又开源了Qwen-14B模型（原来的7B模型也放出来了），同时还放出了Qwen的技术报告内容。
通义千问(Qwen)2大模型技术报告全文翻译解读
强化学习曾小健
09-29 2532
通义千问(Qwen)2大模型技术报告全文翻译解读 原创旺知识旺知识2024年07月20日 17:03广东 本报告介绍了 Qwen2 系列，这是大型语言模型和大型多模态模型的最新成员。文本发布了一套全面的基础和指令调优语言模型，参数范围从 0.5 到 72 亿，包括密集模型和专家混合模型。Qwen2 超越了大多数以前的开放权重模型，包括其前身 Qwen1.5，并在语言理解、生成、多语言能力、编码、数学和推理等多个基准测试中展现出与专有模型相媲美的性能。 我们翻译解读最新论文：Qwen2技术报告，
论文总结《QWEN TECHNICAL REPORT》
weixin_43344118的博客
12-18 575
预训练阶段的目标是通过学习大量数据来获得对世界的全面理解，包括基本的语言能力以及高级技能如算术、编码和逻辑推理。对齐部分讨论了如何通过监督微调（SFT）和基于人类反馈的强化学习（RLHF）来训练QWEN模型，以提高其与人类行为的一致性。这两部分展示了QWEN模型如何通过预训练和对齐技术来提高其在多种任务和领域中的性能。
通义千问-Qwen技术报告细节分享
09-28 1952
写在前面大家好，我是刘聪NLP。阿里在很早前就开源了Qwen-7B模型，但不知道为什么又下架了。就在昨天阿里又开源了Qwen-14B模型（原来的7B模型也放出来了），同时还放出了Qwen的技术报告内容。今天特此来给大家分享一下。PS：现在国内的开源大模型也开始陆陆续续的放出了技术报告，都给我卷起来！！！Report:https://qianwen-res.oss-cn-beijing.aliyu...
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
科技很有意思
06-14 2899
快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。
【论文解读】Qwen2.5 技术报告，非常详细收藏我这一篇就够了
2401_85390073的博客
12-26 4344
专家混合（Mixture-of-Experts，MoE） 是一种神经网络架构，其中包含多个 专家子网络（即“专家”），每个专家都擅长处理特定类型的数据或任务。一个 路由器（路由机制） 确定每个输入应由哪些专家来处理。MoE的优势：计算效率：虽然整体参数量很大，但每次推理时只激活部分专家，因此计算成本并未线性增长，提高了 计算效率。能力专长：不同的专家可以 专注于不同的任务或数据类型，提升模型在多样化任务上的性能。可扩展性：MoE架构可以轻松增加专家数量，从而在不显著增加计算成本的情况下提升模型容量。
qwen2
03-10
### Qwen2 的 IT 相关信息 #### 模型架构解析 Qwen2 实现了一个基于 PyTorch 的大型语言模型 (LLM)，其源码文件 `qwen2_model.py` 中包含了多个核心组件。这些组件涵盖了序列处理函数、模型的基础类定义、基本构建模块的设计、解码器层的具体实现以及完整的模型结构描述[^1]。 #### 推理部署方案 对于 Qwen2 这样的大规模模型，在实际应用中的高效推理是一个重要考量因素。官方文档提供了多样化的优化策略来支持不同的硬件平台和性能需求。具体来说，通过 hf transformers 库可以方便地加载并运行较小版本如 Qwen2-7B-Instruct；而对于更大规模的变种比如 Qwen2-72B 和 Qwen1.5-110B，则推荐采用 vllm、llama.cpp 或 Ollama 等工具来进行更高效的分布式计算或者利用 AWQ、GPTQ 技术实施量化操作以减少资源消耗[^2]。 #### 预训练数据集规模对比 值得注意的是，Qwen2 家族中最大的成员——Qwen-72B 已经接受了超过 3 万亿个标记的数据训练，这使得它在参数数量上超越了许多同类型的竞争对手，例如 Meta 发布的最大版 Llama-2 所使用的约 2 万亿个标记的数据集[^3]。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Instruct") model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Instruct") input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值