为什么ollama对超长文本会进行自动摘要呢?
Ollama作为一个大模型的部署工具,为了提高它的运行效率,把一些配置参数固定死了。因此,不能完整的使用到大模型的真正的功能,例如:有32k上下文的大模型,通过Ollama部署运行后,若输入的文本超过2048K,模型就会返回文本摘要。其实不是大模型本身会对超长文本进行自动摘要,是因为Ollama内置了默认的2048K的上下文窗口,限制了大模型对于长文本的能力。
如何释放大模型长文本能力
- 查看大模型的模型信息(这里以llama3.3:70b为例)
ollama show llama3.3:70b
可以看到llama3.3:70b的上下文长度为128K
- 查看大模型的Modelfile文件信息
在ollama中每一个大模型都有对应的Modelfile文件,如果是直接拉ollama上的模型的话,Modelfile是看不到的,因此想要覆盖Modelfile上的配置信息的话,就得自己新建一个Modelfile文件,并且复制原来的Modelfile文件的内容,再原来的基础上增加num_ctx这个参数来增大上下文窗口
ollama show llama3.