docker 安装ollama

### 安装和配置Ollama #### 卸载旧版Docker 为了确保环境干净，在安装新版Docker之前建议先移除任何已存在的旧版本： ```bash sudo apt-get remove docker docker-engine docker.io containerd runc ``` 这一步骤有助于防止新老版本之间的冲突[^1]。 #### 更新软件包索引并设置稳定仓库 接着更新本地的APT包索引，并添加官方Docker APT仓库到系统的软件源列表中以便获取最新版本的Docker引擎： ```bash sudo apt-get update sudo apt-get install ca-certificates curl gnupg lsb-release ``` 创建必要的目录结构用于存储GPG密钥文件: ```bash sudo mkdir -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null ``` 再次刷新APT缓存以应用更改后的源列表: ```bash sudo apt-get update ``` #### 安装最新的Docker Engine 现在可以从官方渠道安全地下载并安装最新版本的Docker引擎及其依赖项： ```bash sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` 验证Docker是否成功安装并且能够正常运行: ```bash sudo systemctl status docker ``` 如果一切顺利，应该能看到`active (running)`状态提示信息表示服务正在活跃运转中。 #### 安装NVIDIA容器工具包 对于希望利用GPU加速的应用程序来说，还需要额外安装支持CUDA功能的组件——即NVIDIA容器工具包(NVIDIA Container Toolkit)，具体命令如下所示： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker ``` 完成上述操作之后便可以开始着手准备部署基于Docker镜像的服务端应用程序了[^2]。 #### 使用Docker Compose部署Ollama服务 编写一个简单的`docker-compose.yml`文件来定义所需的服务实例化参数。这里假设读者已经具备了一定的基础了解有关YAML语法的知识点；如果没有的话，则可能需要先行查阅相关资料作为前置学习内容之一。 ```yaml version: '3' services: ollama: image: your_ollama_image_name # 替换成实际使用的镜像名称 ports: - "8080:80" environment: - NVIDIA_VISIBLE_DEVICES=all - NVIDIA_DRIVER_CAPABILITIES=compute,utility deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] ``` 通过执行下面这条指令即可启动由Compose编排管理下的整个集群架构体系内的所有节点单元： ```bash docker compose up -d ``` 最后进入交互式的Bash Shell终端界面查看当前容器内部情况或者进一步调试可能出现的问题所在之处： ```bash docker exec -it ollama /bin/bash ``` 以上就是关于如何在Ubuntu环境下借助于Docker平台实现快速搭建起一套完整的Ollama在线推理服务平台全流程指南介绍完毕。