Windows环境下AnythingLLM安装与Ollama+DeepSeek集成指南

已于 2025-03-28 17:07:43 修改
阅读量1.2k 收藏 9
点赞数 14
CC 4.0 BY-SA版权
文章标签： windows ai ollama anythingllm deepseek
于 2025-03-28 15:45:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alva_xu/article/details/146599463

前面已经完成了Ollama的安装并下载了deepseek大模型包，下面介绍如何与anythingLLM 集成

Windows环境下AnythingLLM安装与Ollama+DeepSeek集成指南

一、安装准备

1. 硬件要求

如上文说明

2. 前置条件

  • 已安装Ollama并下载DeepSeek模型（如deepseek-r1:1.5b）

二、安装AnythingLLM

方法一：桌面版安装（推荐新手）

  1. 访问官网下载安装包
    在这里插入图片描述

  2. 点击安装包AnythingLLMDesktop.exe进行安装，注意自定义安装路径（避免C盘空间不足）：

    # 示例：命令行安装到D盘
msiexec /i AnythingLLMDesktop.exe INSTALLDIR="D:\AI_Tools\AnythingLLM"

方法二：Docker部署（适合高级用户/未验证）

# 拉取镜像（国内镜像加速）
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm

# 启动容器（修改存储路径）
docker run -d -p 3000:3000 -v D:/anythingllm_storage:/app/server/storage mintplexlabs/anythingllm

三、集成Ollama与DeepSeek

  1. 启动AnythingLLM
  2. **Settings > LLM 配置：
    • LLM Provider: Ollama
    • Base URL: http://127.0.0.1:11434（Ollama默认端口）
    • Model: 选择已下载的deepseek-r1:1.5b

在这里插入图片描述
在这里插入图片描述

  1. 中文界面设置（可选）：
    • 左下角设置图标Settings > Customization > Language选择Chinese
      在这里插入图片描述

四、关键参数配置

1. 模型推理参数

参数推荐值技术说明配置路径
​Temperature0.2-0.5控制生成随机性（技术文档0.2，创意写作0.5）Workspace Settings >Chat Settings
​Max Tokens4096-8960是单次回复的最大长度， 需≤模型上下文窗口Settings>LLM
​Top P0.85-0.95核采样阈值，高于0.9可能产生幻觉需通过API或Modelfile设置

在这里插入图片描述

Max Tokens超限问题：
一般推荐如下，：

  • 简短回答：50-200 tokens
  • 段落生成：200-1000 tokens
  • 长文写作：2000-5000 tokens

主流DeepSeek模型max tokens参考

模型名称最大上下文默认输出限制适用场景
DeepSeek-V3128K4K长文档处理、复杂推理
DeepSeek-R1-7B32K4K通用问答、代码生成
DeepSeek-R1-1.5B16K2K轻量级任务、边缘设备
  • 设置值≤模型metadata中的"context length"

2. 知识库相关参数

参数推荐值作用原理配置位置
​Chunk Size512-1000文本分块大小（技术文档512，长文本1000）Settings > Text splitter&Chunking
​Chunk Overlap20%-30%防止关键信息被切断（如512块设128重叠）同上
​Similarity Threshold75%-85%越高检索越精准（低于60%可能引入噪声）Workspace Settings > Vector Database

在这里插入图片描述

在这里插入图片描述

3. 向量模型配置（必需）

# 下载嵌入模型（推荐BGE-M3）
ollama pull bge-m3

在AnythingLLM中设置：

  • Embedder Provider: Ollama
  • Embedding Model: bge-m3

4. 文档处理参数

参数技术说明推荐值
Max Embedding Length需≤向量模型context_length（如bge-m3支持8192）512

在这里插入图片描述

五、知识库功能实现

1. 文档上传

支持格式：PDF/DOCX/TXT/Markdown等

  1. 进入工作区点击Upload
  2. 拖拽文件或选择本地文档
  3. 点击Save and Embed进行向量化，（机器性能不好的话，会法轮长转，建议用纯文本进行测试）
  4. 把文档钉住

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

5.现在可以开始用你上传的文件作为知识库进行问答了。
在这里插入图片描述

六、性能优化建议

1. GPU加速（NVIDIA显卡）

# 设置环境变量
setx OLLAMA_GPU_LAYERS 40  # 40层GPU推理（根据显存调整）
setx CUDA_VISIBLE_DEVICES "GPU-UUID"  # 通过nvidia-smi -L查询

2. 内存锁定（大内存设备）

setx OLLAMA_USE_MLOCK 1  # 防止内存换页

七、常见问题解决

  1. 模型加载失败：

    • 检查Ollama服务是否运行：ollama serve
    • 验证模型是否存在：ollama list

  2. 响应速度慢：

    • 降低Max Tokens值至2048
    • 减少同时处理的文档数量

技术文档问答配置（参考）

# 保存为tech_config.yaml
temperature: 0.2
max_tokens: 6144
chunk_size: 512
chunk_overlap: 128
similarity_threshold: 85%
embedder: bge-m3-zh

主流DeepSeek模型max tokens参考

模型名称最大上下文默认输出限制适用场景
DeepSeek-V3128K4K长文档处理、复杂推理
DeepSeek-R1-7B32K4K通用问答、代码生成
DeepSeek-R1-1.5B16K2K轻量级任务、边缘设备

注意事项：

  1. 实际可用max tokens = 模型上限 - 输入tokens
  2. 中文场景下1 token≈1.5汉字，计算时需预留20%缓冲
  3. 超出限制会导致截断，建议通过流式输出处理长内容
【DeepSeek应用实践】手把手教程：用 AnythingLLM + Ollama + DeepSeek-R1 搭建本地企业知识库
寻道AI，探索AI无限可能！
03-28 1675
在众多的技术方案中，我们选择了 AnythingLLM、Ollama 和 DeepSeek-R1 这一组合来搭建本地知识库。Ollama 作为一个轻量级的本地化大语言模型部署工具，支持多种模型，易于安装和使用，能够快速在本地运行强大的语言模型。DeepSeek-R1 是一个专为知识库问答设计的检索增强生成（RAG）模型，它结合了检索和生成的优势，能够快速从知识库中检索相关信息并生成精准答案。而 AnythingLLM 则是一个用户友好的界面工具，可以方便地连接 Ollama 和 DeepSeek-R1
Ollama入门指南：部署与实战最新模型（DeepSeek-V3、Qwen2.5、Llama3）
智能守恒_HengAI
03-09 738
通过本指南，您可快速掌握 Ollama 对最新模型的部署方法，并根据实际需求选择最优工具链。Ollama 通过简化模型部署流程，支持开发者快速调用。（支持数学、代码推理，性能接近 GPT-4o）（需阿里云授权，部分版本需手动下载权重文件）（支持多语言，适合通用任务）若需访问外部网络，需开放。（开源 MoE 模型）、（阿里编程旗舰模型）、
详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决
02-20 905
通过以上内容，我们了解了 ollama 在国内环境下的安装使用方法，并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言交流。• ollama 官方站：https://ollama.com• ollama 中文站：https://ollama.org.cn• ollama 入门：https://ollama.readthedocs.io/quickstart/
【大模型】Windows桌面版AnythingLLM安装与配置教程
知识靠谱的博客
03-02 3607
通过上述步骤，你可以在 Windows 系统上快速安装和配置 AnythingLLM 桌面版，并结合 Ollama 使用 DeepSeek 等大模型，打造一个专属的智能知识库。希望这篇教程能帮助你更好地利用 AnythingLLM，提升工作和学习效率。如果你在安装或使用过程中遇到任何问题，欢迎在评论区留言，我会尽力为你解答。
Ollama + AnythingLLM搭建AI知识库，无需编程，人人皆可上手
最新发布
大模型学习路线
05-07 849
本地运行大模型耗资源，需要选择较小的模型作为基础模型。在终端中运行时可能会出现 CUDA 错误，表示显存不足，导致提供的端口失效。中文支持不够完善。3. 文中提到的技术软件工具有：Ollama、Chatbox、Open WebUI、向量数据库、嵌入模型、本地模型 Gemma、AnythingLLM。
Linux安装AnythingLLM
通往成功之路的一个过客
02-12 2214
AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。支持多种 LLM、嵌入模型和向量数据库：
windows上anythingllm安装和简单使用教程
2403_88102872的博客
02-07 2115
官方搜索Download AnythingLLM for Desktop对应自己操作系统下载即可。安装完后还需要配置大模型使用比如ollama等。最长的是模型下载，预计1小时以上。下载后开始安装，双击exe。
Windows安装ollama和AnythingLLM及部署DeepSeek模型1
热门推荐
m0_60657960的博客
10-04 2万+
AnythingLLM安装有很多方式，一是到官方网站()下载桌面版，然后双击即可。
【免费下载】 AnythingLLM 项目安装与配置指南
gitblog_01271的博客
10-18 8973
AnythingLLM 项目安装与配置指南 1. 项目基础介绍和主要编程语言 AnythingLLM 是一个全栈应用程序，旨在帮助用户将任何文档、资源或内容转化为大型语言模型（LLM）可以使用的上下文。该项目支持多种大型语言模型和向量数据库，允许用户构建一个私有的 ChatGPT 系统，既可以在本地运行，也可以远程托管。 该项目主要使用以下编程语言和框架： 前端：使用 ViteJS 和 Reac...
AnythingLLM安装运行（含本地开发环境）
Zhangmaoyang的博客
03-14 1493
下载安装包直接安装即可。
Ollama AnythingLLM deepseek
02-06
### Ollama AnythingLLM 和 DeepSeek 技术概览 Ollama AnythingLLM 是一种基于大规模语言模型的技术框架，旨在提供灵活多样的自然语言处理能力。该框架支持多种应用场景下的文本生成、对话管理等功能[^1]。 ...
使用 Ollama 、 DeepSeek和QWEN的模型上下文协议 (MCP) ，使用本地 LLM 教程的 MCP 服务器
iCloudEnd的博客
04-06 754
模型上下文协议：MCP 服务器据称是 AI 领域的下一个重大改变者，它将使 AI 代理变得比我们想象的更加先进。MCP 或模型上下文协议由 Anthropic 去年发布，它可以帮助 LLM 连接软件并对其进行控制。但有一个问题大多数 MCP 服务器都与 Claude AI 兼容，尤其是 Claude AI 桌面应用程序，但它们有自己的限制。有没有办法我们可以使用本地 LLM 运行 MCP 服务器？
【免费下载】 AnythingLLM 项目下载及安装教程
gitblog_01273的博客
10-18 1万+
AnythingLLM 项目下载及安装教程 1、项目介绍 AnythingLLM 是一个全栈应用程序，允许您将任何文档、资源或内容转换为 LLM（大型语言模型）在聊天时可以使用的上下文。该应用程序支持选择使用商业现成的 LLM 或流行的开源 LLM 和向量数据库解决方案，构建一个私有的 ChatGPT，无需妥协，可以在本地运行，也可以远程托管，并支持多用户管理和权限。 2、项目下载位置 您可以通过...
Ollama+AnythingLLM安装
shaqilaixi2的博客
03-05 774
‌从联网设备下载：AnythingLLMDesktopInstaller.exe（官网离线安装包）‌deepseek-r1-1.5b.gguf（1.5B 参数模型文件）‌。
Linux安装AnythingLLM_3
m0_60657960的博客
10-04 1万+
1. AnythingLLM 简介AnythingLLM 是 Mintplex Labs 开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。AnythingLLM 支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。
Windows中使用Docker安装Anythingllm，基于deepseek构建自己的本地知识库问答大模型，可局域网内多用户访问、离线运行
百年孤独百年的博客
02-12 7761
本文介绍了如何在 Windows 系统的 CMD 中使用 Docker 安装 AnythingLLM，并搭建自己的知识库问答大模型
Docker安装并运行AnythingLLM的详细教程
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
02-26 4018
通过本文的介绍，你已经掌握了如何在 CentOS 系统上使用 Docker 安装并运行 AnythingLLM。AnythingLLM 提供了强大的功能，支持本地知识库搭建和多模态输入，非常适合个人和企业使用。希望本文能帮助你快速上手并搭建自己的 AI 知识库。
window下用ollama+AnythingLLM部署本地知识库
墨染风华不染尘
11-23 1812
因为很多文章都讲述了如何在linux系统下搭建，所以本文主要讲述在windows系统下，如何用ollama+anythingllm部署本地大模型来搭建自己的知识库，不在赘述linux系统的步骤。在开始之前首先要安装python环境，我本机安装的是python3.12，然后是从ollama官网下载ollama安装文件，已经从anythingllm官网下载安装文件。
Windows 平台下AnythingLLM本地开发环境运行踩坑记录
Humbunklung的专栏
04-01 1046
最近尝试在工作的电脑（Windows环境），试用，参考了内容1和2，也踩了些坑，特将本地开发环境运行的情况记录如下。Can't add "anything-llm-frontend": invalid package version ""
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

alpha xu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值