基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理

在基于LLamaFactory微调完具备思维链的DeepSeek模型之后（详见《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型或者是原始模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA，还需要进行一步导出模型的操作），实现快速高效的模型推理。本文将详细分享如何基于Transformer框架，通过多GPU并行实现DeepSeek模型的非流式批量推理，并解决在实践中遇到的关键技术挑战如输出结果错乱、tokenizer编码参数、tokenizer解码输出、推理效果不一致、开启多卡多进程推理等等。

🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容

单卡并行

下面我们先从简单