- 博客(5)
- 收藏
- 关注
RSS订阅原创 docker + vllm 快速部署通义千问3(Qwen3), 并通过代码控制有无思维链
本文详细介绍了如何在本地部署Qwen3-4B模型，并提供了API调用的示例。
2025-05-15 20:21:39
2350
原创 docker + vllm 从零开始快速上手, 以部署DeepSeek-R1-Distill-Qwen-7B为例
本文手把手教你从零开始，以部署 DeepSeek-R1-Distill-Qwen-7B 模型为例，带你轻松搞定高性能推理服务！无论你是初学者还是进阶开发者，都能通过这篇教程快速上手，让复杂的模型部署变得简单高效。Docker 的便捷性与 vLLM 的强大性能结合，助你一步跨入大模型应用开发的前沿领域
2025-02-22 11:57:22
6157
2
原创 手把手教你离线安装 nvidia-docker以及docker (在线环境亦可)
本文将介绍在离线环境中如何安装Docker以及NVIDIA-Docker（在线环境也可以)
2025-02-11 17:09:59
3556
原创 百度智能云大模型兼容OpenAI的方法
鉴于百度智能云的文档实在太绕，故写了此文提供使用OpenAI接口格式或SDK调用百度智能云上的大模型的方法。使用OpenAI SDK 调用百度智能云或者直接发出Http 请求，本文以使用OpenAI SDK 为例。调用IAM生成 BearerToken。安装qianfan sdk。
2024-12-10 21:06:28
1454
4
原创 docker+vllm 快速上手 以部署Qwen2.5通义千问为例
一文教你快速上手vllm + docker, 并部署最强开源模型通义千问
2024-10-28 17:44:24
21858
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人