ai+本地部署chatglm3

保姆级一步步将智谱ai部署到本地。 适合需要本地独立部署使用ai的人群。 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。 更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。 更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM ### ChatGLM3 介绍与本地部署指南 #### 一、ChatGLM3 介绍 ChatGLM3 是由智谱 AI 和清华大学 KEG 实验室联合发布的一款对话预训练模型。该系列中的开源版本 ChatGLM3-6B 继承了前两代模型的优点，并进一步提升了其性能和功能。相较于之前的版本，ChatGLM3-6B 主要有以下几个方面的改进： 1. **更强大的基础模型**：ChatGLM3-6B-Base 在训练过程中采用了更加多样化的数据集、增加了更多的训练步数，并优化了训练策略。这使得 ChatGLM3-6B-Base 在处理语义理解、数学计算、逻辑推理、代码编写以及知识问答等多种类型的任务时表现得更为出色，在同类模型中处于领先地位。 2. **更完整的功能支持**：ChatGLM3-6B 除了支持基本的多轮对话外，还新增了对工具调用（Function Call）、代码执行（Code Interpreter）以及 Agent 任务的支持。这些扩展功能极大地提高了模型的应用范围和实用性。 3. **更全面的开源序列**：除了 ChatGLM3-6B 对话模型本身外，还开源了基础模型 ChatGLM3-6B-Base 和长文本对话模型 ChatGLM。这意味着开发者可以根据自己的需求选择不同的模型进行定制化开发。 #### 二、硬件要求 为了顺利部署 ChatGLM3-6B，建议具备以下硬件条件： - 至少配备 NVIDIA RTX 2080Ti 或更高性能的显卡； - CPU 主频不低于 3GHz，内存不低于 16GB； - 硬盘空间至少预留 50GB 用于存储模型及相关文件。 #### 三、部署步骤 下面是将 ChatGLM3-6B 部署到本地的具体步骤： 1. **安装 Git** - 安装 Git 可以方便地从 GitHub 上拉取项目代码。下载并安装最新版本的 Git。 2. **安装 Miniconda3** - Miniconda3 是一个轻量级且包含 Python 和 Conda 的发行版，非常适合用来创建隔离的 Python 环境。 - 访问 Miniconda3 的官方网站下载并安装最新版本。 3. **下载模型** - 从智谱 AI 官方提供的链接下载 ChatGLM3-6B 的模型文件。注意检查模型文件的完整性。 4. **下载仓库中的程序** - 使用 Git 将 ChatGLM3-6B 的源代码库克隆到本地计算机上。 5. **使用 Conda 创建虚拟环境** - 在命令行中使用 Conda 命令创建一个新的虚拟环境，并激活该环境。 6. **安装程序依赖包** - 根据项目文档的要求，使用 pip 或 conda 安装所有必要的依赖包。 7. **运行程序** - 根据文档指引启动 ChatGLM3-6B 服务。确保所有配置正确无误。 8. **低配版运行程序** - 如果硬件资源有限，可以考虑以下两种方法来降低运行成本： - **模型量化**：通过模型量化技术减少模型大小，降低内存占用。这可能会影响模型的精度，但可以显著减少所需的计算资源。 - **使用 CPU 版本**：虽然 GPU 加速可以大幅提升模型运行速度，但在没有高性能 GPU 的情况下，也可以尝试仅使用 CPU 来运行 ChatGLM3-6B。 #### 总结 通过上述步骤，用户可以将 ChatGLM3-6B 成功部署到本地环境中。ChatGLM3-6B 不仅在性能上有所提升，而且在功能支持方面也更加丰富。无论是对于需要本地独立部署 AI 模型的专业人士，还是对于希望探索先进对话技术的研究人员来说，都是一个非常有价值的选择。随着模型开源社区的不断壮大和完善，未来 ChatGLM3-6B 还有望带来更多的创新和应用。