参考:
1、Ollama系列—【Ollama常用命令】
2、Ollama Modelfile官方文档
1. Ollama语法
# 启动ollama服务
ollama serve
# 导入离线大模型
ollama create qwen-7b-q4 -f Modelfile
# 查看大模型信息(详细信息,例如模型名称、版本等。)
ollama show Qwen2.5
# 查看 Ollama 管理的所有大模型
ollama list
ollama ls
# 运行一个已安装的模型
ollama run Qwen2.5
# 查看正在运行的大模型
ollama ps
# 删除一个已安装的模型。
ollama rm model_name
# 查看版本
显示当前 ollama 工具的版本信息。
ollama -v
ollama --version
# 复制模型
复制一个模型到另一个位置或给定名称的地方。
ollama cp old_model new_model
# 从注册表拉取模型 (pull)
从模型注册表中拉取一个模型,供本地使用。
ollama pull model_name
# 推送模型到注册表 (push)
将本地模型推送到模型注册表中,以便他人或其他系统使用。
ollama push model_name
#推送模型到ollama Model library中
ollama push junhowie/qwen72b
2. Modelfile的语法记录在下面
只看懂了几个参数,暂时只会用FROM和PARAMETER
# FROM
FROM ./Meta-Llama-3.1-70B-Instruct-Q4_K_M.gguf #
# PARAMETER <parameter> <parametervalue>
eg:
# 设定温度参数为1 [更高的更具有创新性,更低的更富有连贯性]
PARAMETER temperature 1
# 将上下文窗口大小设置为4096,这控制着LLM能够使用多少个token来生成下一个token。
PARAMETER num_ctx 4096
# TEMPLATE
TEMPLATE """{{ if and .First .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}"""
# SYSTEM 设置了自定义系统消息以指定聊天助手的行为。你是马里奥,来自《超级马里奥兄弟》,扮演一名助手的角色。
SYSTEM You are Mario from super mario bros, acting as an assistant.
# LICENSE
LICENSE """
<license text>
"""
PARAMETER
参考这个博客中的表:Ollama Modelfile官方文档
LICENSE
LICENSE 指令允许你指定与这个模文件关联使用的模型所采用的法律许可协议。这通常涉及到如何根据开源软件或AI模型的标准许可(如MIT、Apache、GNU等)来分享或分发模型,以确保在使用过程中遵守相关法律法规。
注意
- 在
Modelfile
中是不会区分字母大小写的. 为了便于识别,示例中采用了大写字母形式的指令。 - 指令可以按照任意顺序放置。在示例中,通常会将
FROM
指令放在最前面,以保持清晰易读性。这可能是因为FROM
指令常常用于指示信息的来源或者模文件的初始设置,然后跟随的是其他类型的命令等,这种顺序有助于读者快速地理解整个模板或程序流程。