说明:本专栏文章有两种解锁方案
1:付费订阅,畅享所有文章
2:免费获取,点击下方链接,关注,自动获取免费链接
https://free-img.400040.xyz/4/2025/04/29/6810a50b7ac8b.jpg
主题:MLU370-S4平台量化大模型(包含LLM & VLM模型)
前提:已经搭建好MLU相关环境
硬件:MLU370-S4
资料:https://pan.baidu.com/s/1AR6Lj8FS7bokMR5IrLmsIw?pwd=3dzv 提取码: 3dzv
本文以Qwen2-VL-2B为例进行量化部署