[论文笔记] pai-megatron-patch Qwen2系列后预训练 踩坑记录 包括长文本（Qwen2-72B/7B/1.5B）

已于 2024-08-21 21:06:40 修改
阅读量1.3k 收藏 2
点赞数 24
CC 4.0 BY-SA版权
分类专栏： 论文笔记 文章标签： 论文阅读
于 2024-07-03 15:37:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/140152003

经过以下修改，Qwen2-72B-CT可以正常训练，并且benchmark指标和loss正常。

Qwen2-72B-CT开长文本，256卡，16K会OOM，目前能开11K(11008)。

后面开了SP，能开到16K（tp8pp8）。

[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录_pai-megatron-patch 多机-CSDN博客

[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑-CSDN博客

一、改动

1、模型加载：strict=False

vim ./PAI-Megatron-Patch/Megatron-LM-240405/megatron/training/checkpointing.py

vim /mnt/cpfs/kexin/dlc_code/qwen2/moe/Pai-Megatron-Patch/Megatron-LM-240612/mega

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练
心宝的博客
01-16 1432
数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。克隆Pai-Megatron-Patch源代码并拷贝到工作目录/mnt/workspace/下。注意：EXTRA_VOCAB_SIZE，7B使用85，14B和72B模型使用213。目标：使用qwen基座来做CT。
[论文笔记] pai-megatron-patch 环境安装
心宝的博客
07-26 477
还需要安装 flash-attn2.5、transformer-engine。除了官方repo中的requirement.txt。
[论文笔记] pai-megatron-patch Qwen2-72B/7B/1.5B 长文本探路
心宝的博客
07-19 1744
开SP之后，72B能开到16K，7B能开到32K。但是72B开16K，或者7B开32K时，如果训练时训练样本中有长文本的话，则还是会OOM。相对于原repo加了一些代码适配性的问题。
[论文笔记] pai-megatron-patch Qwen2 tokenize代码踩坑
心宝的博客
06-17 381
【代码】[论文笔记] pai-megatron-patch tokenize代码踩坑。
[论文笔记] pai-megatron-patch megatron 模型接着训练 继续训练 load checkpoint
心宝的博客
07-02 441
其中 checkpoint_path 中的 last_iteration_txt (好像是这个名字) 要改成自己需要的。继续训练的话，不要用megatron的检查点转换回hf模型。要直接 load megatron模型。
Pai-Megatron-Patch：围绕Megatron-Core打造大模型训练加速生态
2401_85378759的博客
09-12 1112
由于MCore在Transformer模型关键组件实现方面与Huggingface存在一定差异，导致在继续预训练或者微调时将Huggingface模型权重转换Mcore模型权重后执行前向推理会产生误差，该误差主要来自以下六个方面：
阿里云Pai-Megatron-Patch: 深度学习的大规模并行计算优化库
gitblog_00050的博客
04-26 511
阿里云Pai-Megatron-Patch: 深度学习的大规模并行计算优化库 该项目是阿里巴巴开源的一个用于深度学习模型训练的高效并行计算补丁集合，它是基于Megatron-LM的扩展和优化。如果你对提升大规模预训练模型的训练速度和效率有兴趣，那么Pai-Megatron-Patch绝对值得你一试。 项目简介 是一个针对Megatron-LM框架的增强版，旨在改善其在阿里云PAI平台上的性能。它包...
Pai-Megatron-Patch 教程
gitblog_00789的博客
08-07 659
Pai-Megatron-Patch 教程 1. 项目目录结构及介绍 Pai-Megatron-Patch 的目录结构如下： . ├── README.md # 主要的项目说明文件 ├── README_zh-CN.md # 中文版本的项目说明文件 ├── patches # 存放Megatron-LM的补丁文件 ├── examples # 示例代码和脚...
pai-megatron-patch 教程
gitblog_00461的博客
08-07 1168
pai-megatron-patch 教程 Pai-Megatron-PatchThe official repo of Pai-Megatron-Patch for LLM & VLM large scale training developed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors/pa/Pai-Megatron-Patch...
推荐文章：探索大型语言模型新纪元——深入了解阿里云Pai-Megatron-Patch
gitblog_00356的博客
08-07 895
推荐文章：探索大型语言模型新纪元——深入了解阿里云Pai-Megatron-Patch Pai-Megatron-PatchThe official repo of Pai-Megatron-Patch for LLM & VLM large scale training developed by Alibaba Cloud.项目地址:https://gitcode.com/gh_mirrors...
[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录
心宝的博客
07-04 706
【代码】[论文笔记] pai-megatron-patch Qwen2-57B(A14B)-CT 后预训练 踩坑记录。
[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录
心宝的博客
04-12 682
lm loss: 1.515231E+01，初始loss为15，之前遇到过这种问题，检查了模型load进来了，是因为那个rope没设置对导致的，模型权重没问题。最终归因到 run_pretrain_mcore_qwen.sh 中关于位置编码的参数有问题。改完之后能跑，但是loss太高。
Pai-Megatron-Patch 项目常见问题解决方案
gitblog_00283的博客
12-30 570
Pai-Megatron-Patch 项目常见问题解决方案 1. 项目基础介绍 Pai-Megatron-Patch 是由阿里巴巴云开发的一个深度学习训练工具包，旨在帮助开发者更容易地使用 Megatron 框架训练和预测大型语言模型（LLM）和视觉语言模型（VLM）。随着 LLMs 的持续发展，模型结构和规模快速演变。尽管可以使用 Transformers 或 DeepSpeed 训练框架方便地...
【论文阅读】QWEN2 TECHNICAL REPORT
li_li_rui的专栏
07-22 1612
本文介绍了阿里巴巴集团Qwen团队开发的Qwen2系列大型语言模型和多模态模型，这些模型在参数范围从0.5亿到720亿不等，包括密集模型和专家混合模型。Qwen2在语言理解、生成、多语言能力、编程、数学和推理等多个基准测试中表现出色，超越了大多数先前开放权重模型，并与专有模型竞争。旗舰模型Qwen2-72B在多项测试中取得了显著成绩，展示了其在多语言环境中的强大能力和全球适用性。文章还详细介绍了模型的架构、预训练和后训练过程，以及如何通过监督微调和人类反馈强化学习来调整模型以更好地遵循指令。最后，文章提到Q
[论文笔记] PAI-Megatron中qwen和mistral合并到Megtron-LM
心宝的博客
01-12 740
mnt/nas/pretrain/code/Megatron-LM/megatron/tokenizer/__init__.py 或者 tokenizer.py。，更改pretrain_qwen_dlc.py中的输入参数 tokenizer_type: QwenTokenizer。因为在tokenizer中的build_tokenizer中引用了QwenTokenizer。，更改提交脚本中的参数。
LLM 系列——Qwen2——论文解读
TigerZ*的博客
07-24 1000
Qwen2 是单模态纯文本的大语言模型，开源了一整套基础和指令调优的语言模型，参数范围从5亿到720亿不等，包括密集模型和混合专家模型。可以用于：语言理解、生成、多语言、编码、数学和推理。主要是精召性能提升、数据和长文本处理方面改进，包括数据处理等使用了一些最新的其他论文的思路，模型结构等方面并没有大的改动。
《Qwen2-VL》论文精读【上】：发表于2024年10月 Qwen2-VL 迅速崛起 | 性能与GPT-4o和Claude3.5相当
my_name_is_learn的博客
11-02 2911
Qwen2-VL-72B模型在各种多模态基准测试中，与GPT-4o和Claude3.5-Sonnet等领先模型相比，实现了相当的结果，超越了其他通用模型。这篇是论文的上集，下集会补充详细的技术实现原理
Megatron单机多卡Qwen2.5:pre-train+sft
最新发布
weixin_46873015的博客
03-05 1323
英伟达：https://github.com/NVIDIA/Megatron-LM/releases/tag/core_r0.8.0阿里：https://github.com/alibaba/Pai-Megatron-Patch/releases/tag/v0.10.2。
[论文笔记] pai megatron patch: Qwen2系列 upcycling-moe
心宝的博客
08-01 494
原repo在Qwen1.5系列实现了upcycling。于是，我在Qwen2系列修改upcycling。
PAI-Megatron-Patch: 集群训练大规模语言模型的关键技术
"PAI-Megatron-Patch：灵骏集群训练 LLMs.pdf" 本文档介绍了阿里云PAI（Platform for AI）针对大规模语言模型（LLMs）的集群训练解决方案，特别是通过优化数据处理、计算性能和调度策略来提升训练效率和质量。文档...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值