【一起来学AI大模型】本地部署的qwen3-8b模型和百炼上的qwen3-8b模型效果不一致

简介: 我在使用Function Call时发现,百炼平台上的Qwen3-8B模型与本地部署的Qwen3-8B模型效果存在差异,主要体现在函数参数生成上,本地模型常出现漏参或JSON格式错误,而百炼模型表现正常。想确认百炼平台的Qwen3-8B是否为更高版本?

我发现使用function call的时候,百炼上的qwen3-8b模型和我本地部署的qwen3-8b模型,效果不一致,本地部署的效果差很多,主要体现在fucntion的参数上,经常会漏,或者json格式不对,但是百炼上的就没问题

想问一下,百炼上的qwen3-8b的模型跟开源的模型版本一致吗?还是说百炼上的模型版本更高

我本地的模型是用vllm部署,部署命令如下:

vllm serve huggingface.co/Qwen/Qwen3-8B --served-model-name Qwen3-8B --enable-reasoning --reasoning-parser deepseek_r1 --enable-auto-too
l-choice --tool-call-parser hermes
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值