第四期书生大模型实战营L2G4000

原创 已于 2024-12-23 23:17:38 修改 · 255 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #笔记

于 2024-12-22 22:32:14 首次发布

InternVL 部署微调实践闯关任务

了解LMDeploy部署多模态大模型的核心代码，并运行提供的gradio代码，在UI界面体验与InternVL2的对话。

运行结果

在这里插入图片描述
在这里插入图片描述

总结

可以看到模型虽然能够根据图片回答问题，但是回答存在很多错误

了解XTuner，并利用给定数据集微调InternVL2-2B后，再次启动UI界面，体验模型美食鉴赏能力的变化。

环境配置

首先配置XTuner环境，并配置微调参数，微调数据集使用FoodieQA数据集，这里我们直接使用share目录下处理好的数据集

开始微调：xtuner train internvl_v2_internlm2_2b_lora_finetune_food --deepspeed deepspeed_zero2

微调完毕：

在这里插入图片描述
微调后，把模型checkpoint的格式转化为便于测试的格式：python xtuner/configs/internvl/v1_5/convert_to_official.py xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_lora_finetune_food.py ./work_dirs/internvl_v2_internlm2_2b_lora_finetune_food/iter_640.pth ./work_dirs/internvl_v2_internlm2_2b_lora_finetune_food/lr35_ep10/

在这里插入图片描述

./work_dirs/internvl_v2_internlm2_2b_lora_finetune_food/lr35_ep10/为转换后的模型checkpoint保存的路径。

修改MODEL_PATH为刚刚转换后保存的模型路径，再次启动应用：

cd /root/InternVL2-Tutorial
conda activate lmdeploy
python demo.py

运行结果

在这里插入图片描述
在这里插入图片描述

总结

可以看到微调后的模型能够正确回答出我们提出的问题

将训练好的模型上传到 Hugging Face 或 ModelScope 上，模型名称包含 InternVL 关键词（优秀学员必做）

模型Hugging Face地址

在这里插入图片描述

书生大模型实战营L2G4000 - InternVL 部署微调实践
Ameliorating的博客
01-11 1116
我们主要通过接口来构造多轮对话管线，核心代码为：## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文lmdeploy推理的核心代码如上注释所述。
第四期书生大模型实战营-第4关-L2G4000
智能守恒_HengAI
02-11 1004
InternVL2 是由上海人工智能实验室开发的多模态大模型，旨在融合视觉和语言模态，实现对图像和文本的联合理解与生成。InternVL2 通过 ViT、Pixel Shuffle 和 MLP 的结合，实现了视觉和语言模态的高效对齐，并通过动态高分辨率支持和多阶段训练流程，显著提升了模型在多模态任务中的性能。其设计模式和训练流程展示了多模态大模型在图像和文本处理方面的强大能力。多模态大模型是一种能够同时理解和生成多种类型数据（如文本、图像、音频、视频等）的人工智能模型。，使其能更接近人类的多模态认知能力。
书生大模型实战营L2G4000进阶岛
2301_79935516的博客
02-16 854
我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。
第四期书生大模型实战营L2G3000
weixin_51956916的博客
11-22 903
Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。2、kv cache占用9.2GB：剩余显存24-0.9=23.1GB，kv cache占用40%，即23.1*0.4=9.2GB。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。所以11.4GB=权重占用0.9GB+kv cache占用9.2GB+其它项1.3GB。运行如下命令，启动命令行客户端。
第四期书生大模型实战营L2G2000
weixin_51956916的博客
12-09 828
在这一节中，我们将使用 Lagent 来构建一个多智能体系统 (Multi-Agent System)，展示如何协调不同的智能代理完成内容生成和优化的任务。我们的多智能体系统由两个主要代理组成：（1）内容生成代理：负责根据用户的主题提示生成一篇结构化、专业的文章或报告。（2）批评优化代理：负责审阅生成的内容，指出不足，推荐合适的文献，使文章更加完善。
第四期书生大模型实战营L2G6000
weixin_51956916的博客
12-22 351
在 官方的MindSearch页面 复制Spaces应用到自己的Spaces下，Space 名称中需要包含 MindSearch 关键词，请在必要的步骤以及成功的对话测试结果当中。找到InternLM官方部署的MindSearch Spaces应用。选择如下配置，注意填上申请的API密钥。
第四期书生大模型实战营-第1关-L2G1000
智能守恒_HengAI
02-08 1011
输入：head = [1,4,2,6,8], root = [1,4,4,null,2,2,null,1,null,6,8,null,null,null,null,1,3]输入：head = [1,4,2,6], root = [1,4,4,null,2,2,null,1,null,6,8,null,null,null,null,1,3]输入：head = [4,2,8], root = [1,4,4,null,2,2,null,1,null,6,8,null,null,null,null,1,3]
第四期书生大模型实战营-第3关-L2G3000
智能守恒_HengAI
02-10 403
forward成功。
第四期书生大模型实战营-第6关-L2G6000
智能守恒_HengAI
02-13 163
Et voila!
书生大模型实战营第四期L2G4000（InternVL 多模态模型部署微调实践）
stinkypudding的博客
11-12 761
MLP。
【15】Transformers快速入门：添加自定义 Token
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
08-13 1750
预训练模型的词表是固定的。它不认识你自定义的特殊标记（如实体标记、领域术语、新表情符号等）。掌握如何向预训练模型的分词器和词表中添加新的 Token（包括普通 Token 和特殊 Token），理解其对模型的影响，并学会正确调整模型权重。新 Token 的 ID（30523, 30524）在模型的 Embedding 矩阵里。想象一下，你给模型一个任务：“找出文本里的汽车和隧道实体”。增加了词表大小（比如从 30522 增加到 30524），模型的 Embedding 矩阵（这里标记了一个实体！
敏感数据目录是什么？如何快速构建企业自身的敏感数据目录
yuandiansec的博客
08-13 1631
敏感数据目录能力是数据安全的起点
【论文阅读】基于表面肌电信号的下肢多关节运动估计：一种深度卷积神经网络方法
qq_60423839的博客
08-14 1047
本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。
从静态模型到数字生命体：自进化AI Agent综述
zenRRan的博客
08-13 1323
部署后无法适应动态环境（如用户需求变化、新工具出现）。例如，医疗诊断智能体遇到新疾病时需工程师手动调整，效率低下。近年大型语言模型（LLM）的突破催生了AI智能体的发展，它们能自主规划、使用工具解决复杂任务（如编程、科研）。：树状思维（Tree-of-Thought）探索多推理路径，避免单一错误。：将自然语言反馈视为“梯度”，反向优化提示（如TextGrad框架）。：将提示视为基因，通过突变、交叉筛选最优解（如EvoPrompt）。：AI智能体不仅是工具，更是能持续学习、适应、协作的“数字生命体”。
yolo安装
最新发布
a1111111111ss的博客
08-15 542
我在cmd一直更新不了pip 一直说错误。我扭头去anaconda成功。
直播预告｜鸿蒙生态中的AI新玩法
GitCode
08-13 932
将分享如何利用AI技术为鸿蒙生态注入新活力，打造更智能的产品体验。从理论到实践，深入解析智能体的核心逻辑及其在鸿蒙生态中的应用场景。无论你是初学者还是资深开发者，这场直播都能为你带来启发与收获！手把手教你如何基于鸿蒙系统，快速搭建属于自己的智能体项目！高级开发者必备的实战经验与优化策略，助你突破技术瓶颈。想知道鸿蒙生态里 AI 能玩出啥新花样？鸿蒙生态中的 AI 新玩法-CSDN直播。对智能硬件与生态开发感兴趣的极客。黄紫妍 | HarmonyOS。AI赋能鸿蒙产品开发。
大模型速度优化入口
weixin_36378508的博客
08-14 1270
如果你固定了计算能力，要得到TTFT和Throughput等数据，你需要知道是在Prefilling阶段和Decoding的计算量分别是多少。大模型压缩方式【GPU还是CPU】如何快速估计推理计算量。
一键换装魔法：基于ComfyUI工作流的Stable Diffusion服装替换指南
Ven%的博客
08-15 253
本文介绍了Stable Diffusion 3 Medium和ComfyUI在图像生成领域的创新应用，重点解析了服装替换工作流的技术原理与实现方法。文章从Stable Diffusion的扩散模型原理出发，阐述了基于节点化的ComfyUI工作流架构，详细说明了服装替换涉及的语义分割、姿态控制和局部重绘三大关键技术。同时提供了从工作流获取、安装到具体执行的完整指南，包括关键参数配置、模型选择建议和常见问题解决方案。文章还展望了工作流在跨风格转换和3D生成等领域的进阶应用，展现了AI创作"工作流即服务
利用多模态大型语言模型实现零样本异常检测与推理
sexy19910923的博客
08-14 952
摘要： Anomaly-OV创新性地将视觉推理能力引入零样本异常检测领域，通过构建多模态知识库和推理框架，实现对未知异常的精准识别。该方法突破了传统模型依赖已知异常数据的局限，增强了检测系统的泛化能力，为工业质检等场景提供了更智能的解决方案。文章详细解析了其技术原理、创新点及应用价值。
第四期书生大模型：书生基础通关岛第三关
01-20
### 关于书生大模型第四期基础通关岛第三关 针对书生大模型第四期基础通关岛第三关的任务，此阶段主要聚焦于通过不同参数量训练模型并结合多种微调技术来优化特定任务的表现。具体而言，在对比 xcomposer2-4khd、internVL1.5 和 llava-llama3-8b 这些具有不同参数规模的预训练模型时，采用 LORA（低秩自适应）、QLORA 及 FULL 训练方法可以有效增强模型处理少量样本学习(few-shot learning)以及专门领域内图纸识别的能力[^1]。 为了成功完成这一挑战，建议采取如下策略： #### 数据准备 确保拥有高质量的数据集用于训练和验证，特别是那些能够代表目标应用场景中的特征数据，比如工业设计图或其他形式的技术绘图。 #### 模型选择与调整 基于项目需求挑选合适的基线模型，并考虑其参数大小对性能的影响。较小的模型可能更适合资源受限环境下的部署；而较大的模型则通常能提供更好的泛化能力。 #### 微调技巧应用 利用LORA或QLORA等高效微调方式快速适配新任务，减少计算成本的同时保持较高的准确性。对于更复杂的要求，则可尝试FULL fine-tuning以获得最佳效果。 ```python from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "path_to_pretrained_model" model = AutoModelForSequenceClassification.from_pretrained(model_name) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, ) ``` 上述代码片段展示了如何设置一个简单的`Trainer`对象来进行模型微调操作。实际实现过程中还需要根据具体的任务类型调整配置项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值