deepseek私有部署聊天和代码模型记录

虽然 DeepSeek 官方提供了可视化聊天界面，但稳定性实在太差了，动不动就服务繁忙，根本没办法正常使用。另外，对于一些对数据隐私、实时性能要求较高的场景，本地部署也是不可避免的选择。

目前根据中国信创的要求，大型国企央企都，有的甚至需要物理隔离，那么基于DeepSeek的本地化企业内部知识库和工作流平台，就有很大的应用场景。DeepSeek的性能优于OpenAI，又是开源免费，支持私有化部署，整个未来中国信创的大模型，很可能就是DeepSeek的天下。基于DeepSeek的大模型支持的知识平台和工作流程平台，将为信创要求下的企业带来，助力企业实现数字化转型，同时满足本地化部署和物理隔离的安全需求。

可以看到，4060 Ti相比4060具有更高的性能，适合做深度学习任务，而4060则适合一些入门级的深度学习应用。而深度学习GPU与游戏显卡的主要区别在于优化的计算目标和硬件配置，深度学习GPU专注于高效处理深度学习计算，具有更多的显存和更强的并行计算能力。

deepseek年前狠狠的火了一把，笔者电脑是48G内存+4060ti 16G显卡，试试32b的参数效果咋样。按照ollama的官网提示，32b参数的所占空间是20G，可以使用GPU+CPU的方式运行（Ollama默认支持）量化后的32b模型，整体体验上还是不错的，回答的也还可以，不过速度的话确实是慢一点了，一道问题加上推理要两三分钟，使用14B的话速度会更快一点，但是效果会比较差点。可以回答一些简单的问题，也可以尝试使用联网搜索帮你总结。但还是远远不能跟满血版的比较。

一款开源的本地 LLM 推理 GUI 工具支持 GGUF 格式大模型（Llama.cpp 后端）支持 GPU 加速，可用运行大模型可直接在本地进行离线 AI 对话，不依赖 OpenAI API✅LM Studio 是最简单的本地大模型推理工具之一✅支持 LLaMA / Qwen / Mistral / DeepSeek 等 GGUF 模型✅可以用 RTX 4060Ti / 4070 / 4090 跑 7B / 14B/ 32B 量化模型✅。

要在自己的电脑上私有化部署 DeepSeek，通常需要以下步骤：

【说明】操作系统：win10。使用工具：ollama

了解新技术的一天。

这期内容分享下在我们个人本地电脑私有化部署 DeepSeek R1 + RAGFlow，也想观察下在没有GPU的机器上跑起来体验如何？这期分享全程操作的干货内容，言简意赅，不要怕学不会，现在部署大模型已经很简单了。照着我说的一步步做，一定能成功！以上环境相信大部分朋友都具备。远程连接虚拟机，准备下载RagFlow⑥ 配置模型提供商我英文水平一般，先切换到中文，哈哈点击头像，找到左侧模型提供商找到ollama，点击添加模型参考我这图上面配置就行，一看就懂哈。

年前，国产AI大语言模型 DeepSeek 横空出世，最近很多自媒体啊，也都在宣传本地部署 DeepSeek 有多好有多方便，最近也稍微研究了一下如何使用，仅供参考使用，如有不对请各位大佬指正。

如果网络问题无法解决，可以尝试离线模式，将下载的模型文件（./deepseek-coder-7b-instruct 目录）复制到目标机器，在目标机器上，使用本地路径加载模型。安装bitsandbytes， bitsandbytes是一个用于量化模型的库，支持 4-bit 和 8-bit 量化。这个快速排序算法的实现使用了Python的列表推导式，这是一种更简洁的创建列表的方式。我的显卡是RTX 4060，安装支持 CUDA 的 PyTorch 版本。确保模型路径正确，或手动下载模型文件并加载本地模型。

总得来说，通过 Ollama 私有化部署本地大模型非常简单，如果你的电脑配置较高也可以运行参数量较大的模型。在完成本地部署后，能够开展诸多饶有趣味且颇具价值的事。例如，将其集成至 Cursor 之中，如此便能够拥有一款离线且免费的 AI 编程工具；还可以着手开发自动化工具，将其用作私人知识库。而且更关键的是，整个使用过程完全免费，即便处于断网状态也能正常使用。