deepseek本地部署教程-windows(亲测)

1. 下载安装ollama

https://ollama.com/download
在这里插入图片描述

2.下载deepseek模型

在这里插入图片描述
复制安装命令
在这里插入图片描述

在这里插入图片描述
如果ollma官网下载比较久,可以用在这里下载:https://www.gy328.com/app/ollama/
复制安装命令,例如:
ollama run deepseek-r1:7b

打开命令行(Windows 用户按 Win + R,输入 cmd),粘贴并运行上述命令。模型将自动下载并安装。
在这里插入图片描述

3. 与模型对话

安装完成后,你可以直接在命令行中与模型对话:

ollama run deepseek-r1:1.7b
在这里插入图片描述
输入你的问题,模型会立即给出回答。
在这里插入图片描述

4.图形化问答工具-浏览器插件

EADE浏览器扩展搜索page assist,并安装
在这里插入图片描述**加粗样式
进行插件配置
在这里插入图片描述
在这里插入图片描述

5.图形化问答工具-chatbox

chatbox下载地址:https://chatboxai.app/zh
在这里插入图片描述
在这里插入图片描述

参考链接:
https://baijiahao.baidu.com/s?id=1823651450604281706&wfr=spider&for=pc
https://mp.weixin.qq.com/s?__biz=Mzg4NTkyMDg1Mg==&mid=2247500890&idx=1&sn=11fe73838d69919bc55d079851f2ca40&chksm=cfa30161f8d48877099102d6a7bac66c1b767e340f8b2039460184db9012ee8248726e288179&scene=27

### 部署 DeepSeek-R1-671B 模型 对于 DeepSeek-R1-671B 的本地部署,过程类似于较小版本的 DeepSeek-R1 模型。然而,由于该模型规模更大,资源需求也更高。 #### 准备环境 为了准备适合运行大型模型DeepSeek-R1-671B 的环境,建议使用具备强大计算能力和充足内存的工作站或服务器。确保操作系统已更新至最新状态,并安装必要的依赖项。 #### 安装 Ollama 和配置环境变量 按照官方指南操作,在目标机器上完成 ollama 工具链的安装: ```bash # 下载并安装 ollama curl -fsSL https://example.com/install.sh | sh - ``` 确认 `ollama` 命令能够正常工作后,将其路径添加到系统的 PATH 环境变量中以便全局调用。 #### 获取 DeepSeek-R1-671B 模型文件 启动命令行工具(例如 Windows PowerShell),利用 ollama 来拉取指定的大尺寸预训练模型: ```powershell PS C:\> ollama run deepseek-r1:671b ``` 等待下载完成后即可开始加载此大规模参数量的语言理解生成框架实例。 #### 执行压力试 针对已经成功部署好的 DeepSeek-R1-671B 实施性能评估之前,先要设计合理的负载场景来模拟真实应用场景下的请求模式。可以采用如下几种方式进行压- **并发访问**:创建多个线程或进程同时向服务端发送查询请求; - **持续时间**:设定固定的试周期内保持一定频率的数据交互; - **数据集大小变化**:调整每次处理的任务复杂度以及输入长度; 具体实施时可借助专业的自动化试平台或者编写简单的脚本来辅助完成上述任务。下面给出一段 Python 脚本作为参考案例用于发起批量 API 请求来进行初步的压力检: ```python import requests from concurrent.futures import ThreadPoolExecutor, as_completed def send_request(url, payload): response = requests.post(url=url, json=payload) return response.status_code == 200 if __name__ == "__main__": url = "http://localhost:port/predict" payloads = [{"text": f"Test {i}"} for i in range(100)] with ThreadPoolExecutor(max_workers=5) as executor: futures = [executor.submit(send_request, url, p) for p in payloads] success_count = sum(f.result() for f in as_completed(futures)) print(f"{success_count}/{len(payloads)} successful responses.") ``` 这段代码展示了如何通过多线程方式异步提交 POST 请求给预接口,并统计返回成功的次数比例[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值