LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

汀、人工智能

于 2024-05-28 11:22:58 发布

阅读量1.6k

点赞数 18

CC 4.0 BY-SA版权

分类专栏： LLM技术汇总文章标签：人工智能自然语言处理 LLM Agent vLLM AI大模型大模型部署

涉及博主原创类文章，未经博主许可不允许转载

本文链接：https://blog.csdn.net/sinat_39620217/article/details/139261659

LLM技术汇总专栏收录该内容

85 篇文章 ¥29.90 ¥99.00

订阅专栏

LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战

1.环境准备

GPU设备: A10, 3090, V100, A100均可.

#设置pip全局镜像 (加速下载)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
#安装ms-swift
pip install 'ms-swift[llm]' -U

#vllm与cuda版本有对应关系，请按照`https://docs.vllm.ai/en/latest/getting_started/installation.html`选择版本
pip

了解本专栏