docker部署OneAPI和M3E向量模型

1. 接入本地大模型

  1. 部署 OneAPI(模型管理中间件)
    docker run -d --name one-api -p 3000:3000 -v /data/oneapi:/data justsong/one-api
    
  2. 配置模型渠道
    • 在 OneAPI 中添加本地模型(如 ChatGLM3)的 API 地址与密钥
    • 测试接口连通性
  3. FastGPT 模型绑定
    • 修改 config.json 中的 llmModels 字段,添加模型名称与 API 路径
    • 重启 FastGPT 容器生效配置

2. 高级配置与优化

  1. 向量模型部署
    • 部署 M3E 嵌入模型(GPU 加速版命令):
      docker run -d -p 6008:6008 --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
      
  2. 性能调优
    • 调整 PostgreSQL 连接池参数(DB_MAX_LINK
    • 启用混合检索模式提升准确率
  3. 安全加固
    • 修改 MongoDB 默认账号密码
    • 配置 HTTPS 反向代理

3. 常见问题与解决方案

问题类型解决方法
端口冲突修改 docker-compose.yml 中的端口映射(如 3000→3001)
模型加载失败检查 OneAPI 的 BaseURL 格式(需去除 /v1 后缀)
数据库连接超时验证 MongoDB 副本集状态 rs.status()
中文支持异常config.json 中强制指定编码格式为 UTF-8

4. 文档地址

  • 官方资源

    • GitHub 仓库:https://github.com/labring/FastGPT
    • 在线文档:https://doc.fastgpt.in

### 使用 Docker Compose 部署 OneAPI 为了使用 Docker Compose 成功部署 OneAPI,需遵循特定的配置文件设置以及命令执行流程。通常情况下,`docker-compose.yml` 文件用于定义服务及其依赖关系。 #### 创建 `docker-compose.yml` 创建并编辑名为 `docker-compose.yml` 的文件,在其中定义必要的服务组件。对于 OneAPI 来说,可能涉及多个微服务模块,具体取决于所使用的 API 版本服务需求[^1]: ```yaml version: '3' services: oneapi-gateway: image: intel/oneapi-gateway:latest ports: - "8080:80" depends_on: - oneapi-core environment: ONEAPI_ENV: development oneapi-core: image: intel/oneapi-core:latest volumes: - .:/app environment: RAILS_ENV: development ``` 此示例展示了两个主要的服务——网关核心处理单元,并指定了它们之间的依赖关系以及其他环境变量配置。 #### 启动容器 要使这些容器在后台运行,可以利用带有 `-d` 参数的 `docker-compose up` 命令来启动整个应用栈[^3]: ```bash docker-compose up -d ``` 该指令会读取当前目录下的 `docker-compose.yml` 文件中的定义,并按照指定的方式构建、启动各个服务实例。 #### 扩展与管理集群化部署 如果计划在一个更复杂的环境中(比如生产级别),则可以通过调整 `deploy` 节点下的参数来进行高级控制,如副本数量、更新策略等。这种类型的配置适用于 Swarm 模式下通过 `docker stack deploy` 进行大规模分布式系统的自动化部署[^2]。 ```yaml services: ... deploy: replicas: 3 update_config: parallelism: 2 delay: 10s restart_policy: condition: on-failure ``` 上述片段说明了如何为某个服务设定三个工作节点,并规定每次最多允许两台机器同步升级,每完成一台后等待十秒再继续下一波操作;同时设置了仅当失败时才重启的恢复机制。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值