m0_52460096的博客

MindSearch 是一个开源的 AI 搜索引擎框架，具有与 Perplexity.ai Pro 相同的性能。

通过接口来构造多轮对话管线，核心代码为：## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文。

要运行参数量为7B的InternLM2.5，由查询InternLM2.5-7b-chat的config.json文件可知，bfloat16所以我们需要大于14GB的显存，选择(24GB显存容量)，后选择，等状态栏变成运行中，点击，我们即可开始部署。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。【我还使用之前的lagent虚拟环境，不想创新的了】

安装环境出现错误：解决办法：通过源码安装的方式安装 lagent。# 创建目录以存放代码安装torch要科学上网！！！

torch版本降低后，又报错“ModuleNotFoundError: No module named 'rouge'”然后scikit-learn又报错，把1.5.0版本降为1.2.1试试。又有其他的报错，torch的版本还是高，降为2.1.2试试。把torch的版本从2.5.1降到2.4.1试试。出现报错，torch里面没有device？看群里大佬，增加了一个命令。然后再运行，成功运行。

训练864次之后，回答如下：改成：就不会找不到文件了hf 文件夹即为我们平时所理解的所谓 “LoRA 模型文件”对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（Adapter），训练完的这个层最终还是要与原模型进行合并才能被正常的使用。对于全量微调的模型（full）其实是不需要进行整合这一步的，因为全量微调修改的是原模型的权重而非微调一个新的 Adapter ，因此是不需要进行模型整合的。使用 XTuner 微调 InternLM2-Chat-7B 实

说是传的url是一个元组？后来把代码改成浦语API文档里的格式，直接赋值，不进行传递，就没报错了。注意修改词向量模型的地址！也是成功运行，使用RAG也是让lm学到了xTuner是什么。

这个模型是如何工作的？- **细腻的情感描写**：通过主角的内心独白和与其他角色的互动，展现她在不同时空中的情感变化和成长。- **紧张的情节设置**：在穿越过程中设置一些突发事件或挑战，增加故事的紧张感和吸引力。使用提示词后，得到的回答更符合一个剧本的配置，而单纯的回答知识剧本的场景的描述，我们在设计剧本的时候，应该是先设置大体框架，再逐渐具体到场景情节。- Profile: 你是一位专业的商务沟通专家，拥有丰富的商务邮件撰写和沟通经验，擅长根据不同的商务场景和目的，提供恰当的邮件撰写指导和优化建议。

(24 封私信 / 44 条消息) 目前生成式AI在学术和工业界有什么最新进展？ - 知乎

新发布的2.5版本的相对于之前2.0版本的，在以下三个方面有所改进。InternLM2.5支持100万字上下文，而GPT-4o支持128k上下文，达10倍之多。在同量级参数大小下，书生大模型的性能是比其他模型更好的，InternLM2.5-20B-Chat甚至达到和GPT-4的性能。开放一系列工具链，兼容多种模型和框架，方便开发者开发。数据质量驱动模型性能发展。

下载了internlm2_5-7b-chat的config.json文件、model.safetensors.index.json文件。修改index.html文件内容，然后push到远程仓库，注意出现报错，需要设置项目的验证。将下载好的config.json文件上传到HF平台，如下所示。进入Space界面，就可以看到实战营的共建活动了。

如下图，我的分支 class_4871被推送到远程仓库。fork了开源模型chatglm3，地址为。提交更改分支and推送分支到远程仓库。

激活share的环境，创建一个自己的文件夹，把jieba安装在我创建的目录里。) 包围，而且不能包含未转义的换行符或特殊字符。在 JSON 格式中，键和字符串值必须用双引号 (成功运行一个demo。

书生大模型第一关