DeepSeek Chat
DeepSeek AI 提供了开源的 DeepSeek V3 模型,以其先进的推理和问题解决能力而闻名。
Spring AI 与 DeepSeek AI 集成,通过重用现有的 OpenAI 客户端来实现。要开始使用,您需要获得 DeepSeek API 密钥、配置基本 URL,并选择支持的模型。
Spring AI 和 DeepSeek 集成
提示:当前版本的 DeepSeek-chat 模型的功能调用能力不稳定,可能导致循环调用或空响应。
可以查看 DeepSeekWithOpenAiChatModelIT.java 测试,了解如何将 DeepSeek 与 Spring AI 一起使用的示例。
前提条件
- 创建 API 密钥:访问此链接以创建 API 密钥。然后在 Spring AI 项目中使用 spring.ai.openai.api-key 属性进行配置。
- 设置 DeepSeek 基本 URL:将 spring.ai.openai.base-url 属性设置为 api.deepseek.com。
- 选择 DeepSeek 模型:使用 spring.ai.openai.chat.options.model=<模型名称> 属性指定模型。可以参考“支持的模型”部分来选择可用的选项。
环境变量配置示例:
export SPRING_AI_OPENAI_API_KEY=<在此处插入 DEEPSEEK API 密钥>
export SPRING_AI_OPENAI_BASE_URL=https://api.deepseek.com
export SPRING_AI_OPENAI_CHAT_MODEL=deepseek-chat
添加仓库和 BOM
Spring AI 工件已发布到 Maven Central 和 Spring Snapshot 仓库。请参考“仓库”部分,将这些仓库添加到您的构建系统中。
为了帮助进行依赖管理,Spring AI 提供了 BOM(物料清单),以确保在整个项目中使用一致的 Spring AI 版本。请参考“依赖管理”部分,将 Spring AI BOM 添加到构建系统中。
自动配置
Spring AI 为 OpenAI Chat 客户端提供了 Spring Boot 自动配置。要启用此功能,请在项目的 Maven pom.xml 或 Gradle build.gradle 构建文件中添加以下依赖:
Maven 配置:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>
参考依赖管理部分,将 Spring AI BOM 添加到构建文件中。
聊天属性
重试属性:前缀 spring.ai.retry 用于配置 OpenAI 聊天模型的重试机制。
属性名称 | 描述 | 默认值 |
---|---|---|
spring.ai.retry.max-attempts | 最大重试次数。 | 0 |
spring.ai.retry.backoff.initial-interval | 指数退避策略的初始休眠时间。 | 2 秒 |
spring.ai.retry.backoff.multiplier | 退避时间间隔的乘数。 | 5 |
spring.ai.retry.backoff.max-interval | 最大退避时间。 | 3 分钟 |
spring.ai.retry.on-client-errors | 如果为 false,抛出 NonTransientAiException,并且不针对 4xx 客户端错误代码进行重试。 | false |
spring.ai.retry.exclude-on-http-codes | 不触发重试的 HTTP 状态代码列表(例如,抛出 NonTransientAiException)。 | 空 |
spring.ai.retry.on-http-codes | 触发重试的 HTTP 状态代码列表(例如,抛出 TransientAiException)。 | 空 |
连接属性:前缀 spring.ai.openai 用于配置与 OpenAI 的连接。
属性名称 | 描述 | 默认值 |
---|---|---|
spring.ai.openai.base-url | 连接的 URL。必须设置为 api.deepseek.com | - |
spring.ai.openai.chat.api-key | 您的 DeepSeek API 密钥。 | - |
配置属性:前缀 spring.ai.openai.chat 用于配置 OpenAI 聊天模型的实现。
属性名称 | 描述 | 默认值 |
---|---|---|
spring.ai.openai.chat.enabled | 启用 OpenAI 聊天模型。 | true |
spring.ai.openai.chat.base-url | 可选项,覆盖 spring.ai.openai.base-url 以提供特定的聊天 URL。必须设置为 api.deepseek.com | - |
spring.ai.openai.chat.api-key | 可选项,覆盖 spring.ai.openai.api-key 以提供特定的聊天 API 密钥。 | - |
spring.ai.openai.chat.options.model | 使用的 DeepSeek LLM 模型 | - |
spring.ai.openai.chat.options.temperature | 控制生成结果创造力的采样温度。较高的值会使输出更随机,较低的值会使结果更集中且确定性强。建议不要同时修改温度和 top_p,因为这两个设置的相互作用难以预测。 | 0.8 |
spring.ai.openai.chat.options.frequencyPenalty | 范围为 -2.0 到 2.0 的数字。正值会根据新令牌在文本中的频率进行惩罚,减少模型重复相同内容的可能性。 | 0.0 f |
spring.ai.openai.chat.options.maxTokens | 在聊天完成中生成的最大令牌数量。输入令牌和生成令牌的总长度由模型的上下文长度限制。 | - |
spring.ai.openai.chat.options.n | 为每个输入消息生成多少个聊天完成选项。请注意,您将根据所有选项中生成的令牌数量收费。保持 n 为 1 以最小化成本。 | 1 |
spring.ai.openai.chat.options.presencePenalty | 范围为 -2.0 到 2.0 的数字。正值会根据新令牌是否已经出现在文本中进行惩罚,增加模型谈论新话题的可能性。 | - |
spring.ai.openai.chat.options.responseFormat | 一个指定模型输出格式的对象。设置为 { “type”: “json_object” } 启用 JSON 模式,确保模型生成的消息是有效的 JSON。 | - |
spring.ai.openai.chat.options.seed | 该功能处于 Beta 测试阶段。如果指定,系统会尽力进行确定性采样,以便使用相同的种子和参数的重复请求应返回相同的结果。 | - |
spring.ai.openai.chat.options.stop | 最多 4 个序列,API 会在这些序列处停止生成更多令牌。 | - |
spring.ai.openai.chat.options.topP | 一种替代温度采样的方法,称为核采样,模型会考虑具有 top_p 概率质量的令牌的结果。因此,0.1 意味着只考虑具有前 10% 概率质量的令牌。通常建议只更改此项或温度,而不是同时更改两者。 | - |
spring.ai.openai.chat.options.tools | 模型可能调用的工具列表。目前,只支持将函数作为工具。使用此项提供模型可能生成 JSON 输入的函数列表。 | - |
spring.ai.openai.chat.options.toolChoice | 控制模型调用哪个(如果有)函数。none 表示模型不会调用任何函数,而是生成消息。auto 表示模型可以在生成消息和调用函数之间选择。通过指定特定函数 {“type”: “function”, “function”: {“name”: “my_function”}} 强制模型调用该函数。没有函数时,none 是默认值。如果存在函数,auto 是默认值。 | - |
spring.ai.openai.chat.options.user | 一个唯一标识符,表示您的最终用户,有助于 OpenAI 监控和检测滥用行为。 | - |
spring.ai.openai.chat.options.functions | 要启用的函数列表,这些函数的名称在函数回调注册表中必须存在,用于单个请求中的函数调用。 | - |
spring.ai.openai.chat.options.stream-usage | (仅适用于流式处理)设置为添加一个额外的块,包含整个请求的令牌使用统计信息。此块的 choices 字段为空数组,所有其他块也将包含 usage 字段,但值为 null。 | false |
spring.ai.openai.chat.options.proxy-tool-calls | 如果为 true,Spring AI 将不会内部处理函数调用,而是将它们代理到客户端。然后,由客户端负责处理函数调用,分派到相应的函数,并返回结果。如果为 false(默认值),Spring AI 将内部处理函数调用。仅适用于支持函数调用的聊天模型。 | false |
提示:所有以 spring.ai.openai.chat.options 开头的属性可以通过为提示调用添加特定的运行时选项来覆盖。
运行时选项
OpenAiChatOptions.java 提供了模型配置,如要使用的模型、温度、频率惩罚等。
在启动时,可以使用 OpenAiChatModel(api, options) 构造函数或 spring.ai.openai.chat.options.* 属性配置默认选项。
在运行时,您可以通过向 Prompt 调用中添加新的请求特定选项来覆盖默认选项。例如,要为特定请求覆盖默认模型和温度:
ChatResponse response = chatModel.call(
new Prompt(
"Generate the names of 5 famous pirates.",
OpenAiChatOptions.builder()
.model("deepseek-chat")
.temperature(0.4)
.build()
));
提示:除了模型特定的 OpenAiChatOptions,您还可以使用便携的 ChatOptions 实例,它是通过 ChatOptions#builder() 创建的。
函数调用
当前版本的 deepseek-chat 模型的函数调用功能不稳定,可能导致循环调用或空响应。
多模态
注意:目前,DeepSeek API 不支持媒体内容。
示例控制器
创建一个新的 Spring Boot 项目并将 spring-ai-openai-spring-boot-starter 添加到您的 pom(或 gradle)依赖项中。
在 src/main/resources 目录下添加一个 application.properties 文件,以启用并配置 OpenAi 聊天模型:
spring.ai.openai.api-key=<DEEPSEEK_API_KEY>
spring.ai.openai.base-url=https://api.deepseek.com
spring.ai.openai.chat.options.model=deepseek-chat
spring.ai.openai.chat.options.temperature=0.7
# DeepSeek API 不支持嵌入,因此我们需要禁用它。
spring.ai.openai.embedding.enabled=false
请将 api-key 替换为您的 DeepSeek API 密钥。
这将创建一个 OpenAiChatModel 实现,您可以将其注入到您的类中。以下是一个简单的 @Controller 类示例,使用聊天模型生成文本。
@RestController
public class ChatController {
private final OpenAiChatModel chatModel;
@Autowired
public ChatController(OpenAiChatModel chatModel) {
this.chatModel = chatModel;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", this.chatModel.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return this.chatModel.stream(prompt);
}
}