ollama本体docker部署

在 Docker 环境中部署 Ollama 可以通过多种方式进行配置，具体取决于硬件条件和使用场景。以下是几种常见的部署方式： ### 使用基础方式部署 Ollama Ollama 提供了官方镜像，用户可以直接通过 `docker run` 命令启动一个容器。这种方式适用于没有独立显卡的环境： ```bash docker run -d -p 11434:11434 --name ollama ollama/ollama ``` 此命令会将 Ollama 的默认端口 11434 映射到宿主机，并以守护模式运行容器。 ### 使用 GPU 加速部署 Ollama 如果宿主机配备了 NVIDIA 显卡，则可以通过启用 GPU 支持来加速模型的推理过程。执行以下命令以启用 GPU： ```bash docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 该命令启用了所有可用的 GPU 资源，并将本地目录 `/data/ollama` 挂载到容器中用于持久化存储模型数据。 ### 部署 Ollama Web UI Ollama 还提供了 Web UI 界面，可以通过 Docker 快速部署。执行以下命令启动 Web UI 容器： ```bash docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main ``` 此命令会将 Web UI 的端口 8080 映射到宿主机，并通过 `--add-host` 参数设置主机网络以支持容器内部访问宿主机的服务。 ### 自定义脚本管理 Ollama 容器 为了方便管理和启动 Ollama 容器，可以编写一个简单的 Bash 脚本来自动化相关操作。例如，创建名为 `ollamaRUN.sh` 的脚本文件： ```bash #!/bin/bash # 容器的名字 MHZX_NAME='ollama' # 检查启动的容器中是否包含 ollama MHZX_PS_NAME=`docker ps | grep "${MHZX_NAME}" | awk '{print $NF}'` # 判断${MHZX_NAME}是否等于${MHZX_PS_NAME}，如果不相等说明容器ollama没有启动 if [[ ! X${MHZX_NAME} = X${MHZX_PS_NAME} ]];then # 启动容器 docker start ${MHZX_NAME} sleep 2 # 进入容器 docker exec -it ${MHZX_NAME} /bin/bash else # 进入容器 docker exec -it ${MHZX_NAME} /bin/bash fi ``` 此脚本可以自动检查并启动 Ollama 容器，同时进入容器的交互式终端。 ### 注意事项 - Ollama 缺乏内置的鉴权访问机制，因此在生产环境中应采取适当的安全措施，如限制端口访问或使用反向代理进行身份验证。 - 确保宿主机已安装 Docker 和必要的驱动程序（如 NVIDIA 驱动）以支持 GPU 加速功能。