ollama 对于离线模型的支持可以是GGUF format 的（通过modelfile 进行构建），实际上还有一种就是对于下载好的模型直接
进行打包，然后通过配置进行加载（OLLAMA_MODELS 环境变量）

下载的模型数据

  • 模型数据结构

ollama 模型离线加载的配置简单说明_github

  • 通过直接复制加载的模型

ollama 模型离线加载的配置简单说明_github_02

参考服务配置

  • systemd 服务配置

注意对于OLLAMA_MODELS 定义的文件夹的权限的配置

[Unit]
Description=Ollama Service
After=network-online.target
 
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/opt/models"
Environment="PATH=/root/.local/bin:/root/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"
 
[Install]
WantedBy=default.target
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
Description=Ollama Service
  • 1.

参考资料

 https://github.com/ollama/ollama/blob/main/docs/import.md
 https://github.com/ollama/ollama/blob/main/docs/modelfile.md
 https://github.com/ggerganov/llama.cpp/blob/master/README.md#prepare-and-quantize