超级会员免费看
Qwen3作为国内首个混合推理模型，带来了革命性的双模式思考能力。但在实际应用中，过于详细的思考过程可能会影响响应速度和用户体验。
本文将基于QwenAgent框架，深入探索Qwen3在不同部署方式下的表现，从Ollama到vLLM，从默认思考模式到无思考快速响应，通过实战测试揭示如何充分发挥这一混合推理模型的潜力，最终通过ollama下的自定义模板实现思考过程的精准控制。我们通过以下几种方法进行了系统性测试：
| 组合配置 | 描述 |
|---|---|
| Ollama + Qwen2.5 | 作为基准测试，验证基础功能正常运行 |
| Ollama + Qwen3 | 发现输出包含大量思考过程，影响响应效率 |
| vLLM + Qwen3 | 测试专业推理服务的表现和思考控制能力 |
| Ollama + Qwen3 + 提示词优化 | 通过后缀尝试抑制思考输出 |
| Ollama + Qwen3 + 模板修改 | 深度定制Ollama模板，彻底解决思考过程问题 |
主要发现：
- Qwen3相比Qwen2.5在推理能力上有显著提升，但默认会输出详细的思考过程
- vLLM提供了更专业的控制选项，但配置相对复杂
- 通过修改Ollama的chat template，可以在保持推理能力的同时获得简洁的输出
- 最终通过创建自定义模型
qwen3nt(no think)实现了最佳的性能平衡
订阅专栏 解锁全文
扫一扫
4409
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
