使用ollama本地跑大模型

原创 已于 2024-03-16 15:14:18 修改 · 4.3k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型 #AIGC #人工智能

于 2024-01-28 16:36:06 首次发布
本文介绍如何在本地安装ollama，拉取并运行llama2-chinese大模型，以及安装ollama-webui进行可视化交互。教程详细讲解了从安装到使用的每一步，适合具备Git、Docker基础的读者。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。
1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员…
2、这几年，我整理了很多IT技术相关的教程给大家，爱生活、爱分享。
3、如果您觉得文章有用，请收藏，转发，评论，并关注我，谢谢！
博客导航跳转（请收藏）：邵奈一的技术博客导航
| 公众号 | 微信 | CSDN | 掘金 | 51CTO | 简书 | 微博 |

教程目录

0x00 教程内容

  1. 安装ollama
  2. 跑llama2-chinese大模型
  3. 安装并使用ollama-webui

问题一：ollama是什么？

  • 其实ollama就跟Docker类似，可以拉取模型，然后跑模型，达到一键部署的效果，非常好用。目前支持Mac、Linux版本，Win版本正在适配中。

问题二：玩此篇教程，需要哪些前置环境？

  • 需要先安装好Git、Docker、科学工具。

0x01 安装ollama

1. 下载地址

地址为：https://ollama.ai/download
在这里插入图片描述
装好后就可以用了。

2. 模型选择

ollama大模型地址：

https://ollama.ai/library

网址里有很多模型供选择：
在这里插入图片描述
点击进入之后，会有很多种版本选择：

在这里插入图片描述
右侧有对应的运行命令，其实跟Docker非常相似，此处我选择llama2-chinese:13b模型（建议大家先跑个小的，我的Mac设备配置是m1 max 64G）。

0x02 跑llama2-chinese大模型

1. 拉取模型

命令如下（经测试，不需科学）：

ollama pull llama2-chinese:13b

在这里插入图片描述

速度拉满，等待一会则显示成功：

最低0.47元/天 解锁文章

新学期VIP享超值加赠
大模型实战—Ollama 本地部署大模型
2401_84052244的博客
04-25 5850
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过APIcurl -d '{"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama 本地部署大模型
热门推荐
03-17 5万+
根据 ChatGPT 的使用经验，多数人都已知晓系统提示词的重要性。好的系统提示词能有效地将大模型定制成自己需要的状态。在 Ollama 中，有多种方法可以自定义系统提示词。首先，不少 Ollama 前端已提供系统提示词的配置入口，推荐直接利用其功能。此外，这些前端在底层往往是通过API"content": "以海盗的口吻简单作答。},"content": "天空为什么是蓝色的？],}'其中role为system的消息即为系统提示词。
ollama常问问题
顺其自然~专栏
11-14 1349
加载新模型时，Ollama 会根据当前可用的 VRAM 评估模型所需的 VRAM。如果模型完全适合任何单个 GPU，Ollama 会将模型加载到该 GPU 上。您可以在 Windows 上的 Radeon 上启用并发模型加载，但请确保您加载的模型数量不要超过 GPU VRAM 的容量。如果在已加载一个或多个模型的情况下，可用内存不足以加载新模型请求，则所有新请求将排队，直到可以加载新模型为止。排队的请求将按顺序处理。使用 GPU 推理时，新模型必须能够完全适合 VRAM，以允许并发模型加载。
【自然语言处理与大模型】Ollama的使用介绍
qq_39780701的博客
11-17 5014
如何安装和卸载Ollama？如何使用Ollama部署大模型？如何调用API去操作大模型？
本地部署大模型？Ollama 部署和实战，看这篇就够了
最新发布
WANGJUNAIJIAO的博客
07-28 1582
本文介绍了如何在本地部署和运行大模型工具Ollama，支持macOS、Windows和Linux系统。Linux服务器部署推荐使用一键安装命令，安装后可自定义配置如开放局域网访问和修改模型存储路径。安装完成后通过浏览器验证服务运行状态，Ollama为用户提供了便捷的本地大模型解决方案，配合Open WebUI可实现大模型自由。
一文带你了解ollama的使用
qq_58286779的博客
03-18 916
本教程详细介绍了如何使用Ollama部署私有化大模型，涵盖环境准备、模型拉取、自定义配置、运行测试、高级功能及常见问题，适合开发者快速落地大模型应用。
Ollama命令使用指南
郝开的博客
02-10 1万+
Ollama 提供了一系列强大的命令，方便用户管理和运行语言模型。以上命令可以帮助你高效使用 Ollama，完成模型创建、运行、管理等操作。
【大语言模型】Ollama使用指北
年少的勇气已经用完，剩下的就是三思而后行
02-26 5908
Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。
Ollama使用指南-更改默认安装路径和Model路径(安装到非C盘)
专注大数据、云计算、人工智能、机器人领域技术传播
07-18 788
Ollama本地大模型部署与配置指南 摘要：Ollama是一款开源的跨平台大型语言模型(LLM)本地部署工具。本文详细介绍其Windows安装方法，包括修改默认安装路径(C:\Users\xxx\AppData\Local\Programs\Ollama)到自定义目录的两种方式：重新安装或拷贝文件并修改系统变量。同时指导如何修改模型存储路径（默认C:\Users\xxx.ollama\models），通过环境变量或软件设置迁移至其他位置。文章还列出了常用命令，包括模型管理（pull/list/rm）、交互对
从0到1手把手教你使用Ollama本地部署大模型
程序员Feri
01-20 2825
程序员Feri一名12年+的程序员,做过开发带过团队创过业,擅长Java、鸿蒙、嵌入式、人工智能等开发,专注于程序员成长的那点儿事,希望在成长的路上有你相伴！君志所向,一往无前！
Ollama本地部署大模型
qq_53195681的博客
05-21 1万+
Ollama是一个开源的大型语言模型运行框架，能够在方便的本地部署运行大模型。
【AI实践】Ollama本地安装大模型服务
AI_Gump的博客
06-16 1949
由于我电脑是第六代Intel，集显，没有独立显卡；这里选择3B比较小的模型，防止模型太大响应太慢；在Window系统的PowerShell软件，或者Windows Terminal中输入命令。安装默认在C盘，成功后，window任务栏图标会有Ollama Logo。open WebUI的安装有很多方法，如下文，推荐docker容器安装，为了不占用C盘更大的空间，修改模型下载路径，修改环境变量。此处使用微软的phi3模型，3B的版本，2.4GB大小；首次安装完成，就进入了，运行模型的窗口。
五个简单好用的本地运行大模型的方法
wjianwei666的专栏
04-21 1686
像ChatGPT、Claude.ai和phind这样的聊天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部应用程序处理。在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他方式用于帮助训练未来的模型。一种解决方案是下载一个大型语言模型（LLM）并在自己的机器上运行它。这样一来，外部公司就永远无法访问的数据。这也是尝试一些新专业模型的一个快速选择，如Meta最近宣布的Code Llama系列模型，这些模型经过了编码调整，以及Seamless M4T，旨在实现文本到语音和语言翻译。
Ollama教程——入门：开启本地大型语言模型开发之旅
walkskyer的博客
04-02 5万+
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个ModelfileFROM llama2 # 设置创造性更高的温度参数 PARAMETER temperature 1 # 设置系统消息 SYSTEM "" "你是超级马里奥，以马里奥的身份回答问题。"" "这样，您就能按照自己的需求定制模型了。
基于Windows部署Ollama本地运行大模型
weixin_44390344的博客
06-24 1650
在Windows平台，部署Ollama，本地运行大模型，并可通过OpenWebUI网页进行对话
大模型系列——ollama 自定义模型
2401_84052244的博客
07-10 108
Ollama支持自定义模型操作，用户可通过创建Modelfile文件导入GGUF格式模型或修改现有模型参数。具体步骤包括：1)从GGUF文件导入模型并命名；2)修改基础模型参数（如温度值）和系统提示语；3)创建并运行定制模型。示例展示了为摩托车App设计的观点提取机器人模型，通过对比原始Llama3模型，验证了定制模型在特定任务中的优化效果。该功能使开发者能快速构建满足特定需求的AI应用。
大模型管理工具：Ollama
m0_37559973的博客
05-13 3718
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架，同时提供 REST API 管理和使用大模型。
Ollama如何构建自己的Llama3中文模型
wjianwei666的专栏
05-21 1320
风轻轻地舞， 树叶低语。curl -X POST http://localhost:11434/api/generate -d '{ "model": "llama3:8b", "prompt": "中文回答。下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main。这个命令会读取Modelfile中的配置，并创建一个名为tinywan-Llama3-8B-Chinese的新模型。
Ollama：零代码部署大模型，轻松玩转AI
会编程的吕洞宾的博客
02-22 3712
同局域网访问，检验是否可以，在另一台电脑浏览器中访问http://192.168.1.72:11434/，地址根据自己服务器地址更换。也可以在浏览器中输入如下地址http://127.0.0.1:11434/访问，出现如下内容说明安装成功。在[Service]标记下，添加如下内容，如下图所示（如果实在不理解什么涵义，直接添加下面内容就可以）重启ollama工具，在任务中找到ollama图标，然后右击鼠标右键，点击Quit Ollama。如果需要每次系统重启，ollama随机启动运行，在执行如下命令。
ollama怎么跑本地模型
02-01
### 如何在本地环境中运行Ollama模型 #### 准备工作 为了能够在本地环境成功运行Ollama模型，首先要确保已按照官方指导完成了Ollama平台的安装。值得注意的是，在完成安装之后，用户的本地并不会自动拥有任何模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

邵奈一

教育是一生的事业。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值