Dify关联Ollama

#『AI先锋杯·14天征文挑战第5期』#

Ollama 是一个开源的大型语言模型(LLM)平台,Ollama 提供了简洁易用的命令行界面和服务 器,使用户能够轻松下载、运行和管理各种开源 LLM,通过 Ollama,用户可以方便地加载和使  用各种预训练的语言模型,支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。

ollama官网:https://ollama.com

Dify支持使用Ollama管理的模型,下面介绍Dify关联Ollama及使用Ollama管理的模型,这里默 认已经安装好ollama。

Ollama下载与安装

Ollama下载地址:GitHub - ollama/ollama: Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models.,这里以window中下载为例:

下载完成后双击“OllamaSetup.exe”进行安装,默认安装在“C\users\{user}

\AppData\Local\Programs”目录下,建议C盘至少要有10G 剩余的磁盘空间,因为后续 Ollama中还要下载其他模型到相应目录中。

安装完成后,电脑右下角自动有“Ollama”图标并开机启动。可以在cmd中运行模型进行会话

#命令 ollama run +模型 deepseek-r1:1.5b ollama run deepseek-r1:1.5b

>>> 你是谁? <think>

</think>

您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我 >>>

注意:使用run命令第一次运行模型,如果模型不存在会自动下载,然后进入模型交互窗口。后 续使用会自动进入到交互窗口。

在浏览器中输入“localhost:11434”可以访问ollama,输出“Ollama is running”。默认情况 下,Ollama 服务仅监听本地回环地址( 127.0.0.1 ),这意味着只有在本地计算机上运行的应用  程序才能访问该服务,如果想要使用“window ip:11434”访问ollama需要在环境变量中加入    “OLLAMA_HOST”为“0.0.0.0”,这样就将 Ollama 的监听地址设置为 0.0.0.0 ,使其监听所有 网络接口,包括本机 IP 地址。

注意:以上环境变量设置完成后,需要重启ollama

Dify接入Ollama

在“设置”->“模型供应商”中安装Ollama插件:

在模型供应商中配置“Ollama”:

以上“是否支持Vision”:当模型支持图片理解(多模态)勾选此项。

案例-Dify结合本地ollama构建翻译助手

创建chatflow,实现用户输入中文,将对应内容使用ollama中的“deepseek:1.5b”模型翻译成 英文操作:

运行测试

特别注意:由于ollama本地的模型比较小,所以有可能导致回复不准确,最好在ollama中下载更 大参数的模型或者使用开源付费模型。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值