如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题

已于 2025-04-14 16:44:20 修改
阅读量1.1k 收藏 23
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 大模型应用与实战 文章标签： transformer 大模型 推理 Qwen DeepSeek
于 2025-04-14 09:23:55 首次发布
本文为博主原创文章，未经博主允许不得转载，听见没。
本文链接：https://blog.csdn.net/jining11/article/details/146996954

在上一篇文章《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》中，我们通过原生transformer框架，实现了对Qwen2.5-instruct等模型的高效推理。但当我们把推理对象换成Qwen2.5模型时，却会出现输出无限循环的问题。这种现象在Qwen2.5-instruct模型上并不会出现，但在基础的Qwen2.5模型上却很常见。本文记录了通过对输出结果的原始token和模型的config文件进行对照检查，最终排查出问题并解决的整个历程。

文章目录

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

在这里插入图片描述

背景介绍

Qwen2.5与Qwen2.5-instruct的区别

了解本专栏 订阅专栏 解锁全文 超级会员免费看
解密LLM重复输出：Max Token设置与模型机制
ZJQ的博客
05-15 270
文章解释了LLM（大型语言模型）在处理输入句子时可能重复输出的原因，包括模型学习捷径、Induction Head机制和自我强化效应。这些机制可能导致模型在生成内容时重复输入句子。为了解决这一问题，文章介绍了new max token设置的作用，它通过限制模型生成内容的最大token数量来控制输出长度，并与输入共同占用上下文窗口，确保单次交互的token总数不超过模型的处理能力。此外，文章建议采用训练或解码策略，如重复惩罚项或不同的解码方法，来减少输入句子的重复输出。
大模型出现的不断重复的现象
liguandong
06-11 2463
是否已有关于该错误的issue或讨论？我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions 该问题是否在FAQ中有解答？语言模型这块，pretrain模型能力不强的时候才会发生的问题，复读机的本质是，复读的那部分数据不能给于更多的信息，所以模型attention时候会跳过这部分信息依然从之前的context后进行预测，也就是 ->复读数据->->复读数据。
官方Qwen想入了思考死循环
最新发布
加菲猫的快乐生活--我的理想
06-15 208
今天因为要写标书，用官网的Qwen生成标书内容时，发现在思考阶段竟然陷入了“死循环”
Qwen3高效微调
宁少的博客
06-03 1360
Qwen3 微调
Qwen3模型思考出现不停重复循环？
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
06-02 1276
模型在生成内容时陷入重复循环思考，原因是提示词中存在"必须完整结构"与"无法提供内容"的矛盾指令。解决方案包括：1）允许保留结构但注明"数据不足"，明确禁止重复解释；2）在系统指令中限制递归推理深度。修改后的提示词应包含"若字段无数据，保留结构并单次说明原因"的指令，避免模型陷入逻辑死循环，确保输出合规且简洁的JSON格式。关键是通过解除指令冲突，引导模型在结构完整性和内容缺失之间找到平衡点。
VLLM+qwen批量推理重复输出的问题
qq_40684500的博客
05-28 756
但是请注意，qwen系列模型在进行对话生成，批量推理时，对输入格式有明确的规范。它需要输入遵循特定的。
记录Qwen2.5模型回复重复问题
努力给自己想要的
04-15 658
system prompt即 You are Qwen, created by Alibaba Cloud. You are a helpful assistant.Qwen2.5-0.5B-Instruct大模型回复存在重复，输入：你可以做什么。经过测试使用SGLang和LMDeploy发布均会出现如此问题。
大模型重复输出怎么办？
qq_42755230的博客
10-17 1万+
对大模型重复输出问题进行了简要介绍，分析了原因并给出了一些缓解方法。
Qwen-VL模型微调及遇到的一些小问题
wi162yyxq的博客
08-28 2881
是阿里云研发的大规模视觉语言模型（Large Vision Language Model, LVLM）。Qwen-VL 可以以图像、文本、检测框作为输入，并以文本和检测框作为输出。相比较前文提到的llava-llama3的模型，它相对更成熟一些，功能更强大一些。
大模型入门实战：通过 HuggingFace 调用 Llama3
python12345_的博客
01-10 1825
至此，我们成功演示了如何通过 Hugging Face 的 Transformers 调用 Llama 模型，并获取了模型的回答。但是如果你的需求只是简单地调用模型，而无需进行微调或复杂的部署，可以尝试使用 Ollama。它不仅操作更加便捷，还提供了开箱即用的 RESTful 接口，适合快速集成到生产环境中。下一篇，我将会讲解如何通过 Ollama 下载部署 Llama 模型并调用。
基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理
羊城迷鹿的博客
04-03 1411
在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA，还需要进行一步导出模型的操作），实现快速高效的模型推理。本文将详细分享如何基于Transformer框架，通过多GPU并行实现DeepSeek模型的非流式批量推理，并解决在实践中遇到的关键技术挑战如输出结果错乱、to
基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口
羊城迷鹿的博客
04-05 979
在大语言模型（LLM）应用的实际落地过程中，流式推理（Streaming Inference）是提升用户体验的关键技术。与[《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》](https://wangjn.blog.csdn.net/article/details/146283684)中使用的传统的批量推理不同，流式推理允许模型在生成过程中实时返回部分结果，从而实现类似于人类对话的交互体验。本文将详细介绍如何基于Transformer框架对微调后的Qwen2和Dee
基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理
羊城迷鹿的博客
04-05 1351
Xinference是一个强大的分布式推理框架，支持多种大语言模型的部署和推理。而DeepSeek作为中文开源大模型的佼佼者，具有卓越的推理能力和知识储备。将两者结合，可以构建高效且灵活的LLM推理服务。流式推理：适用于需要实时交互的场景，如聊天机器人非流式推理：适用于批量处理或需要一次性获取完整结果的场景非常重要的一点是修改模板。由于我们使用思维链微调了DeepSeek模型（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》
如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务
羊城迷鹿的博客
04-14 1458
目标：让大模型总结出每个分类类别的典型特征和识别规律工作原理：将同一类别的所有样本聚合，提供给大模型，让它分析这些样本的共性输出：每个类别的判别规则和特征描述这个阶段实际上是利用大模型来执行知识归纳任务，让它从大量同类数据中总结规律，相当于让大模型自己提炼出区分不同类别的关键特征。第一阶段的目标是利用大模型对每一类别的原始数据进行分析，总结出这个类别的规律特征。数据准备加载原始分类数据及标签基于原始数据生成SFT（监督微调）数据第一阶段：类别规律总结对每个类别的所有样本进行合并。
大模型重复生成内容：根因剖析与优化策略
架构精进之路
04-22 1444
当你的前面的条件文本过长时，大模型的输出的几个短文本会被原始的很长的条件文本淹没，继续预测下一个token的话，在模型看起来可能条件仍然是差不多的，此时如果使用greedy search，只选择概率最大的一个token，模型极大可能会将前面已经生成的短文本重新预测成概率最大的文本，以此类推，会一直重复下去。随着认知建模技术的进步，我们正在从"避免重复"走向"智能重复"，让大模型的输出既保持连贯性，又充满意料之外的智慧闪光。不同表述但表达相同含义，例如 "天气晴朗，阳光明媚" 与 "日照充足，万里无云"。
美团大模型算法二面：Function Call三连炮！
weixin_51702416的博客
05-09 707
在春招季，两位训练营学员成功获得大模型相关职位，分别来自某军实验室和第四范式。随着DeepSeek技术的流行，训练营更新了相关技术解析，包括MLA、MTP等关键技术。文章还详细解析了大模型面试中关于Functioncall的常见问题，如训练和微调方法、文本格式组织以及如何将工具/插件转化为模型可理解的方式。
大模型训练问题
hanwj_986960134的博客
11-14 566
引入噪声：在生成文本时，引入一些随机性或噪声，例如通过采样不同的词或短语，或者引入随机的变换操作，以增加生成文本的多样性。缺乏多样性的训练数据：虽然大型语言模型可以处理大规模的数据，但如果训练数据中缺乏多样性的语言表达和语境，模型可能无法学习到足够的多样性和创造性，导致复读机问题的出现。后处理和过滤：对生成的文本进行后处理和过滤，去除重复的句子或短语，以提高生成文本的质量和多样性。引入噪声：在生成文本时，可以引入一些随机性或噪声，例如通过采样不同的词或短语，或者引入随机的变换操作，以增加生成文本的多样性。
ollama本地部署qwen微调大模型 | 新手炼丹记录(3)
m0_73365120的博客
09-05 8666
本期介绍了如何使用Ollama部署gguf格式的大模型。首先，通过Ollama官网下载并安装软件，并修改模型的默认下载路径。接着，使用基础命令查看、运行和管理模型。然后，详细讲解了如何创建Modelfile文件，配置模型路径和模板，成功生成模型并通过命令行运行测试。最后，总结了从微调qwen大模型、模型格式转换、量化处理到本地部署的完整流程，并提出了进一步优化模型的方向。
qwen大模型，推理速度慢，单卡/双卡速度慢，flash-attention安装，解决方案
热门推荐
Bean的博客
10-23 1万+
阿里的通义千问qwen大模型，推理速度慢，单卡/双卡速度慢。
vllm推理加速微调后模型
04-03
为了利用 vLLM 对微调后的模型进行推理加速，首先需要完成必要的安装和配置工作。具体操作包括但不限于 Python 环境准备、依赖库安装以及 GPU 驱动程序设置。以下是典型的安装命令： ```bash pip install vllm==...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

羊城迷鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值