Spring AI 与 Ollama 的协同作用：利用 LLM 转变本地 AI 交互

即使在当今时代，Java 和 Spring 仍引领着大多数开发社区，而 Python 则是 AI 领域（机器学习或生成式 AI）的主要武器。如果 Java 开发人员不愿意使用 Python，他们该如何利用或使用 LLM？这就是 Spring AI 弥补差距的地方。当我阅读 Spring AI 门户时，我更想做的是创建 Spring 应用程序和可以在本地运行的 LLM 之间的集成。这让所有 Java 开发人员都能够开发 AI 驱动的应用程序。

议程

在本文中，我们将了解如何使用 Ollama 在本地运行 LLM，并将考虑四个方面。

在本地安装并运行 Ollama 和 LLM
创建SpringAI项目并详细查看项目配置。
访问本地嵌入。
访问本地聊天模型。

安装并运行 Ollama

导航至https://ollama.com/download下载适用于特定操作系统的 ollama。

下载 ollama 后，打开终端并输入以下命令来提取 LLM 并在本地运行它们。您可以通过导航到Models
上图中的菜单来检查可用的模型。有关更多说明，请转到 Ollama 文档并检查可用的不同选项。

ollama run llama2 # 拉动 llama2 LLM 模型
ollama run mistral # 拉动并运行 mistral LLM

创建 Spring AI 项目

如果您使用任何 IDE（我的情况是 IntelliJ）或基于 Web 的，Spring Intializr那么您现在可以看到可以直接从中添加 AI 依赖项Spring Intializr。在这种情况下，我们将添加Ollama。在执行此步骤之前，请确保您已按照步骤 1 安装ollama并在本地运行。

一旦您填写了所有必需的详细信息，项目的脚手架将如下所示。

让我们深入application.yaml了解一下不同的项目配置ollama.

一些配置的解释

spring：
  ai：
    ollama：
      嵌入：
        模型： “llama2”
        选项：
          温度： 0.