1. 接入本地大模型
- 部署 OneAPI(模型管理中间件)
docker run -d --name one-api -p 3000:3000 -v /data/oneapi:/data justsong/one-api
- 配置模型渠道
- 在 OneAPI 中添加本地模型(如 ChatGLM3)的 API 地址与密钥
- 测试接口连通性
- FastGPT 模型绑定
- 修改
config.json
中的llmModels
字段,添加模型名称与 API 路径 - 重启 FastGPT 容器生效配置
- 修改
2. 高级配置与优化
- 向量模型部署
- 部署 M3E 嵌入模型(GPU 加速版命令):
docker run -d -p 6008:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
- 部署 M3E 嵌入模型(GPU 加速版命令):
- 性能调优
- 调整 PostgreSQL 连接池参数(
DB_MAX_LINK
) - 启用混合检索模式提升准确率
- 调整 PostgreSQL 连接池参数(
- 安全加固
- 修改 MongoDB 默认账号密码
- 配置 HTTPS 反向代理
3. 常见问题与解决方案
问题类型 | 解决方法 |
---|---|
端口冲突 | 修改 docker-compose.yml 中的端口映射(如 3000→3001) |
模型加载失败 | 检查 OneAPI 的 BaseURL 格式(需去除 /v1 后缀) |
数据库连接超时 | 验证 MongoDB 副本集状态 rs.status() |
中文支持异常 | 在 config.json 中强制指定编码格式为 UTF-8 |
4. 文档地址
-
官方资源
- GitHub 仓库:https://github.com/labring/FastGPT
- 在线文档:https://doc.fastgpt.in