【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装

【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装

NLP Github 项目：

• NLP 项目实践：fasterai/nlp-project-practice

  介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

• AI 藏经阁：https://gitee.com/fasterai/ai-e-book

  介绍：该仓库主要分享了数百本 AI 领域电子书

• AI 算法面经：fasterai/nlp-interview-handbook#面经

  介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

• NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

  介绍：该仓库汇总了 NLP 算法工程师高频面题

2024年8月30日，阿里云重磅发布Qwen2-VL！Qwen2-VL是Qwen模型系列中最新版本的视觉语言模型。Qwen2-VL是由阿里云qwen2团队开发的多模态大型语言模型系列。Qwen2-VL 基于 Qwen2 打造，相比 Qwen-VL，它具有以下特点：

1. 读懂不同分辨率和不同长宽比的图片：Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA 等视觉理解基准测试中取得了全球领先的表现。
2. 理解20分钟以上的长视频：Qwen2-VL 可理解长视频，并将其用于基于视频的问答、对话和内容创作等应用中。
3. 能够操作手机和机器人的视觉智能体：借助复杂推理和决策的能力，Qwen2-VL 可集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。
4. 多语言支持：为了服务全球用户，除英语和中文外，Qwen2-VL 现在还支持理解图像中的多语言文本，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。

使用vLLM部署 ​Qwen2-VL 模型

环境配置

pip install qwen-vl-utils
pip install transformers
pip install accelerate

pip install vllm

启动vllm服务

python -m vllm.entrypoints.openai.api_server --served-model-name Qwen2-VL-7B-Instruct --model Qwen/Qwen2-VL-7B-Instruct

错误原因：vllm 版本不一致导致的错误

# 卸载vllm
pip uninstall vllm

查看CUDA版本

# 重新安装vllm
# Change to your CUDA version
CUDA_VERSION=cu122
pip install 'vllm==0.6.1' --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}

启动之后同样报错：

准备重新安装环境。

系列文章：

• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装
• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 02 - 推理加速
• 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 03 - 多图支持和输入格式问题

本文由mdnice多平台发布