【自爆】搭建AI环境学习需要花费多少成本？——为了学习Deepseek，我搞了个大家伙~~~

• 📢欢迎点赞 ：👍 收藏 ⭐留言 📝 如有错误敬请指正，赐人玫瑰，手留余香！
• 📢本文作者：由webmote 原创
• 📢作者格言：新的征程，用爱发电，去丈量人心，是否能达到人机合一？

序言

在亚马逊雨林的深处，一只蝴蝶🦋轻轻扇动翅膀，可能引发数千公里外的风暴。

而我想从头开始学习AI，进军AI技术的念头，也始于一个多年认识的朋友，他的一句话，你知道Deepseek吗，超级火！

是的，在这个风云骤变的岁月，高龄程序员是个危险的职业，要么在奔跑中被诛杀，要么在沉寂中被淘汰。既然风起于青萍之末，浪成于微澜之间，那么跌谷底也要开花，沉海底也要望月，与其抱怨于黑暗，不如提灯向前行。

一阵小小的涟漪震荡，似乎某个齿轮开始转动。这个想法像蝴蝶效应一样，最终让我掏空钱包，组装了一台能跑 DeepSeek 的怪兽级电脑。今天，就让我们盘点下这其中的奥秘。

1.硬件的抉择

“我怎么学习AI，它需要怎么训练数据？” 这个看似简单的想法，背后却需要显卡的支持，大家都知道，中国的XXX原因，导致很多显卡都无法入手，而国产的又不是那么熟悉，虽然，云端也可以跑下一些开源小模型，体验AI生成文本的乐趣，但终归限制重重。
我自己的感受：

• 隐私问题：自己的数据不想随便上传到第三方服务器。
• 成本不可控：API按token计费，长期使用费用惊人。
• 延迟高：每次请求都要等待网络响应，效率低下。

经过网上搜索对比，看到需要如下配置，可运行Deepseek。DeepSeek 这类大模型对硬件的要求极高，尤其是：

1. GPU：决定模型能否跑起来（NVIDIA 显卡是刚需）。
2. 内存：至少 64GB，否则加载模型都困难。
3. 存储：模型文件动辄 50GB+，SSD 是必须的。

好了，既然CUDA是首选，那么看看这配置吧

由于预算有限，兜比脸干净，我最终选择了 RTX 4090，虽然它跑不动 67B 大模型，但至少能流畅运行 7B 版本。 哎，早一年趁黑神话火爆的时候买，至少节省1万成本。

2.环境搭建

系统就用windows 2019吧，反正是自己玩，搞个linux操作也麻烦，直接windows环境，上来就干。

24G的GPU看着很皮实，其实一点也不抗造。
第一次用i9，心理的感觉要快好多，不知道各位小伙伴觉得咋样？

本来觉得部署Deepseek还需要费一番手脚，完全没想到，在商家的技术支持下，三下五除二搞定。
简要描述下，各位会的直接跳过即可。

1. 下载安装Ollama

Ollama 是一个 开源工具，旨在简化大型语言模型（LLM）在本地计算机上的 下载、运行和管理。它支持多种开源模型（如 LLaMA、Mistral、DeepSeek 等），并提供类似 Docker 的简单命令行操作，让用户无需复杂配置即可在本地运行 AI 大模型。

这里是下载地址， 不过如果你下载的时候出现不可描述的事情，那么请安装三脚架，人字梯，扶好扶手即可。

一路Next，安装完毕后，先退出，整体程序大约5个G。

也可以输入命令查看ollama -v

2. 下载 DeepSeek 模型

打开Ollama官网，点击顶部的Models链接，此时我们就会看到deepseek-r1模型排在第一位，如下图所示。

厂家建议我选择32B，这应该是这个卡的天花板了。

随后我们复制下拉框后面的命令ollama run deepseek-r1:32b，粘贴到新打开的CMD窗口中回车执行（耐心等待下载完成），如下图所示：

经老手提示，下载过程中，最开始下载速度可能要快一些，下载到后面可能就几百KB了，此时我们可以按Ctrl+C停止下载，然后再重新复制命令执行下载，此时的下载速度又恢复到了几MB了（此操作可能会遇到重新下载的情况，但是几率很小），如此往复操作即可

都下载到100%，即表示完成。

3.聊天界面

常用的聊天界面，可以配置下载 chatboxai。

安装完毕后，进行简单配置。

保存后，就可以愉快的使用本地DeepSeek了。

4.使用私有数据训练

1.进入 Anything LLM 官网，下载 Windows 客户端，点此进入下载

2，下载好后，双击程序进行安装。
3，安装好后，打开软件，点击【开始】按钮进入使用界面。
4，进入后可以先建立一个工作区，然后点击全局配置按钮，进行配置，如下：

• LLM Selection（大语言模型选择）：这里选择了名为 Ollama 的模型
• Embedding Preference（嵌入偏好）：使用了名为 AnythingLLM Embedder 的嵌入工具
• Vector Database（向量数据库）：使用了 LanceDB 作为向量数据库

在主题内可以设置界面语言，看自己喜好设置即可。

通过上传按钮，传递需要保存的私有数据，可以是文本、md文件或者pdf等。

通过上传自己的私有文件，可以再次提问私有文件内相关的内容，查看是否能理解，当然按照上述配置，一切都应该没问题的。

总结

这次搭建只是开始，未来计划：

• 升级多卡系统：2×RTX 4090（NVLink）尝试更多的模型。
• 优化推理速度：研究 vLLM、TensorRT-LLM 等加速方案。
• 探索企业应用：如法律合同生成、医疗问答机器人。

硬件总费用：34000左右（后期又增加了2块大硬盘）。
这场AI风暴，始于一个简单的念头，最终让我踏入 大模型私有化部署 的深坑。虽然成本高昂，但掌握核心技术的成就感无可替代。

如果你也想尝试：
✅ 先云后本地：用 云GPU 体验，再决定是否买硬件。
✅ 明确需求：32B模型适合对话，67B需要专业设备。
✅ 量力而行：AI是深坑，入坑前先看看钱包！

—— 风已起，你是否准备好迎接这场AI革命？ 🌪️🚀

你学废了吗？

👓都看到这了，还在乎点个赞吗？

👓都点赞了，还在乎一个收藏吗？

👓都收藏了，还在乎一个评论吗？