Datawhale Ollama教程笔记4

目录

Ollama 在 LangChain 中的使用 - Python 集成

简介

1. 环境设置

配置 Conda 环境

⚠️ 注意

安装依赖

2. 下载所需模型并初始化 OllamaLLM

下载 llama3.1 模型

3. 基本使用示例

使用 ChatPromptTemplate 进行对话

流式输出

工具调用

多模态模型

4. 进阶用法

使用 ConversationChain 进行对话

自定义提示模板

构建一个简单的 RAG 问答系统

结论

简介

本文档介绍了如何在 Python 环境中使用 Ollama 与 LangChain 集成，以创建强大的 AI 应用。Ollama 是一个开源的大语言模型部署工具，而 LangChain 则是一个用于构建基于语言模型的应用的框架。通过结合这两者，我们可以在本地环境中快速部署和使用先进的AI模型。

注: 本文档包含核心代码片段和详细解释。完整代码可在此Jupyter notebook中找到。

1. 环境设置

配置 Conda 环境

首先，我们需要在 Jupyter 中使用 Conda 环境。在命令行中执行以下命令：

conda create -n handlm python=3.10 -y
conda activate handlm
pip install jupyter
python -m ipykernel install --user --name=handlmCopy to clipboardErrorCopied

执行完毕后，重启 Jupyter，并选择该环境的 Kernel，如图所示：

⚠️ 注意

注意： 也可以不使用conda虚拟环境，直接使用全局环境。

安装依赖

在开始之前，我们需要安装以下包：

• langchain-ollama: 用于集成 Ollama 模型到 LangChain 框架中
• langchain: LangChain 的核心库，提供了构建 AI 应用的工具和抽象
• langchain-community: 包含了社区贡献的各种集成和工具
• Pillow: 用于图像处理，在多模态任务中会用到
• faiss-cpu: 用于构建简单 RAG 检索器

可以通过以下命令安装：

pip install langchain-ollama langchain langchain-community Pillow faiss-cpuCopy to clipboardErrorCopied