大模型笔记之-Xinference自定义注册模型

原创 已于 2024-09-26 22:35:02 修改 · 5.7k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

于 2024-08-01 23:33:07 首次发布

前言

一、Xinference是什么？

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。

二、快速入门

1.安装

conda新建环境

conda create -n xinf python=3.10

conda activate xinf

安装Transformers 引擎

pip install "xinference[transformers]"

安装vLLM引擎

pip install "xinference[vllm]"

2.命令行启动服务

#XINFERENCE_MODEL_SRC 为指定模型默认从魔搭下载
#XINFERENCE_HOME 为默认缓存目录(模型)
XINFERENCE_MODEL_SRC=modelscope  XINFERENCE_HOME=/home/PM xinference-local --host 0.0.0.0 --port 9997

浏览器打开http://127.0.0.1:9997
在这里插入图片描述

3.自定义注册模型

新建model.json内容如下

{
  "version": 1,
  "context_length": 4096,
  "model_name": "llama-3-sqlcoder-8b",
  "model_lang": [
    "en"
  ],
  "model_ability": [
    "generate"
  ],
  "model_family": "llama-3",
  "model_specs": [
    {
      "model_format": "pytorch",
      "model_size_in_billions": 8,
      "quantizations": [
        "4-bit",
        "8-bit",
        "none"
      ],
      "model_id": "llama-3-sqlcoder-8b",
      "model_uri": "/home/PM/llama-3-sqlcoder-8b"
    }
  ]
}

参数解读

context_length #表示输入文本长度与
model_family #表示模型架构类型
model_ability #表示模型能力
model_uri #为模型文件绝对路径

新建CustomModel.py 内容如下

import json
from xinference.client import Client

with open('model.json') as fd:
    model = fd.read()

# replace with real xinference endpoint
endpoint = 'http://0.0.0.0:9997'
client = Client(endpoint)
client.register_model(model_type="LLM", model=model, persist=False)

#运行
python CustomModel.py 
#以命令行的方式

xinference register --model-type LLM --file model.json --persist

查看内置模型和自定义模型

xinference registrations --model-type LLM

Is-built-in 为False 是我们搞刚刚注册的模型

(xinf) root@DESKTOP-SUTT5JT:/home/PM# xinference registrations --model-type LLM
Type    Name                         Language                                                      Ability             Is-built-in
------  ---------------------------  ------------------------------------------------------------  ------------------  -------------
LLM     aquila2                      ['zh']                                                        ['generate']        True
LLM     aquila2-chat                 ['zh']                                                        ['chat']            True
LLM     aquila2-chat-16k             ['zh']                                                        ['chat']            True
LLM     baichuan                     ['en', 'zh']                                                  ['generate']        True
LLM     baichuan-2                   ['en', 'zh']                                                  ['generate']        True
LLM     baichuan-2-chat              ['en', 'zh']                                                  ['chat']            True
LLM     baichuan-chat                ['en', 'zh']                                                  ['chat']            True
LLM     c4ai-command-r-v01           ['en', 'fr', 'de', 'es', 'it', 'pt', 'ja', 'ko', 'zh', 'ar']  ['chat']            True
LLM     chatglm                      ['en', 'zh']                                                  ['chat']            True
LLM     chatglm2                     ['en', 'zh']                                                  ['chat']            True
LLM     chatglm2-32k                 ['en', 'zh']                                                  ['chat']            True
LLM     chatglm3                     ['en', 'zh']                                                  ['chat', 'tools']   True
LLM     chatglm3-128k                ['en', 'zh']                                                  ['chat']            True
LLM     chatglm3-32k                 ['en', 'zh']                                                  ['chat']            True
LLM     code-llama                   ['en']                                                        ['generate']        True
LLM     code-llama-instruct          ['en']                                                        ['chat']            True
LLM     code-llama-python            ['en']                                                                                                        ['generate']        True
LLM     cogvlm2                      ['en', 'zh']                                                  ['chat', 'vision']  True
LLM     csg-wukong-chat-v0.1         ['en']                                                        ['chat']            True
LLM     deepseek                     ['en', 'zh']                                                  ['generate']        True
LLM     deepseek-chat                ['en', 'zh']                                                  ['chat']            True
LLM     deepseek-coder               ['en', 'zh']                                                  ['generate']        True
LLM     deepseek-coder-instruct      ['en', 'zh']                                                  ['chat']            True
LLM     deepseek-vl-chat             ['en', 'zh']                                                  ['chat', 'vision']  True
LLM     falcon                       ['en']                                                        ['generate']        True
LLM     falcon-instruct              ['en']                                                        ['chat']            True
LLM     gemma-2-it                   ['en']                                                        ['chat']            True
LLM     gemma-it                     ['en']                                                        ['chat']            True
LLM     glaive-coder                 ['en']                                                        ['chat']            True
LLM     glm-4v                       ['en', 'zh']                                                  ['chat', 'vision']  True
LLM     glm4-chat                    ['en', 'zh']                                                  ['chat', 'tools']   True
LLM     glm4-chat-1m                 ['en', 'zh']                                                  
LLM     internlm-20b                 ['en', 'zh']                                                  ['generate']        True
LLM     internlm-7b                  ['en', 'zh']                                                  ['generate']        True
LLM     internlm-chat-20b            ['en', 'zh']                                                  ['chat']            True
LLM     internlm-chat-7b             ['en', 'zh']                                                  ['chat']            True
LLM     internlm2-chat               ['en', 'zh']                                                  ['chat']            True
LLM     internlm2.5-chat             ['en', 'zh']                                                  ['chat']            True
LLM     internlm2.5-chat-1m          ['en', 'zh']                                                  ['chat']            True
LLM     internvl-chat                ['en', 'zh']                                                  ['chat', 'vision']  True
LLM     llama-2                      ['en']                                                        ['generate']        True
LLM     llama-2-chat                 ['en']                                                        ['chat']            True
LLM     llama-3                      ['en']                                                        ['generate']        True
LLM     llama-3-instruct             ['en']                                                        ['chat']            True
LLM     llama-3-sqlcoder-8b          ['en']                                                        ['generate']        False
LLM     llama-3.1                    ['en', 'de', 'fr', 'it', 'pt', 'hi', 'es', 'th']              ['generate']        True
LLM     llama-3.1-instruct           ['en', 'de', 'fr', 'it', 'pt', 'hi', 'es', 'th']              ['chat']            True

(xinf) root@DESKTOP-SUTT5JT:/home/PM#

在这里插入图片描述
在这里插入图片描述

4.运行模型

xinference launch --model-name llama-3-sqlcoder-8b --model-format pytorch --model-engine transformers

测试

curl -X 'POST' \
  'http://127.0.0.1:9997/v1/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "llama-3-sqlcoder-8b",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "What is the largest animal?"
        }
    ]
  }'

报错
{“detail”:“[address=0.0.0.0:42545, pid=65026] Model model_format=‘pytorch’ model_size_in_billions=8 quantizations=[‘4-bit’, ‘8-bit’, ‘none’] model_id=‘llama-3-sqlcoder-8b’ model_hub=‘huggingface’ model_uri=‘/home/PM/llama-3-sqlcoder-8b’ model_revision=None is not for chat.”}(xinf) root@DESKTOP-SUTT5JT:/home/PM#

使用Generate API

curl -X 'POST' \
  'http://127.0.0.1:9997/v1/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "llama-3-sqlcoder-8b",
    "prompt": "Generate a SQL query to answer this question: `{Query the top 10 order records}`",
    "max_length": 4096,
    "temperature": 0,
    "top_p": 1
  }'

漫长的无限循环

12、xinference部署与自定义模型
Andy_shenzl的博客
09-12 3011
官网：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html。在xinference界面选择注册模型–>embedding模型，根据实际的参数进行填写，主要是路径要写对。记住下载文件的路径，可以在代码中进行设置自定义的路径。下载一个本地的模型，可以在魔塔社区进行下载。我们以embedding模型为例测试。安装后重新注册并launch。如果报错，需要去安装依赖包。
LLaMA 3.2 Vision 实践教程：使用 LLaMA 3.2 Vision ， LLaMA 3.2 Vision 如何集成先进的视觉感知和文本处理，实现强大的图像理解和 AI 驱动的文档分析
iCloudEnd的博客
10-01 1793
人工智能领域正在迅速发展，人们越来越重视多模态人工智能——即模型处理和理解来自多种模态（如文本和图像）的输入的能力。Meta的 LLaMA 3.2 Vision是该领域最新、最先进的创新之一。这个强大的多模态模型集成了语言和视觉，在视觉推理、文档理解和基于图像的创意应用方面提供了前所未有的能力。在本博客中，我们将探索 LLaMA 3.2 Vision 的功能、其独特的架构、性能基准，并引导您完成一个动手教程，以使用该模型执行图像文本任务。
Debain-12.9使用xinference部署音频模型/audio
Eddy的博客
03-15 509
Debain-12.9如何使用xinference部署音频模型/audio
1-6 Dify本地私有化部署—Xinference部署和模型启动
最新发布
ai8086的博客
07-07 2193
本文介绍了Xinference分布式推理框架的介绍、准备工作、镜像和单机部署、模型部署方法等方面。Xinference是一款性能强大且功能全面的分布式推理框架，专门为大规模模型推理任务设计。它通过简化模型部署流程和优化推理性能，帮助开发者在个人电脑或分布式集群中高效运行各类AI模型。文章还提供了详细的部署步骤和模型部署方法，包括使用Docker Hub拉取镜像、挂载模型目录、访问Web UI、使用UI操作启动模型等。此外，还介绍了启动模型的命令行方法，以及通过API动态加载模型的方法。
【大模型】Xinference的安装和部署
热门推荐
magic_ll的博客
12-29 1万+
Xinference通过提供简单API和强大的功能，使得私有化模型的大规模部署成为可能，无论是在个人电脑还是分布式集群中，都能够发挥异构硬件的全部潜力，达到最极致的吞吐量与最低的推理延迟。：Xinference简化了包括大语言模型、多模态模型、语音识别模型等模型部署的过程，允许用户轻松一键部署自己的模型或内置的前沿开源模型。：Xinference专注于优化模型的推理性能，并支持多种类型的模型，包括深度学习模型。如下图，待参数设置OK后，点击小火箭，则下载模型和加载模型，模型下载到默认路径。
Xinference如何注册自定义模型
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
08-03 2006
Xinference。
Xinference 注册本地模型
m0_62458145的博客
10-23 4326
Xinference作为一个模型集成平台，当然也可以对接本地的模型。
Xinference中使用GGUF文件运行自定义模型
qq_52148082的博客
04-23 1915
根据提供的某个大模型的GGUF文件，将这个大模型部署、运行到目标服务器的Xinference中。
xinference注册、启动多个本地模型
NaNa0o的博客
09-11 2857
xinference启动多个本地模型
xinference搭建
liuzhenghua66的博客
04-09 6356
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。帮助文档：https://inference.readthedocs.io/zh-cn/latest/models/index.html 运维 部署 内置模型以及调用示例：https://inference.readthedocs.io/zh-cn/latest
图解大模型计算加速系列：vLLM源码解析1，整体架构
stephen147的博客
08-14 1487
图中左侧是用户使用界面，罗列了上述所说的两种调用方式（注意，如前文所说，做demo用的api server官方已经不再维护了，openai_api_server才是官方推荐的使用方式，user custom server目前还没有实现）。右侧则是开发者界面，不难发现LLMEngine是vLLM的核心逻辑。我们来看开发者界面下的几个函数，先来看**LLMEngine。
大模型知识库本地部署：一文详解常见本地大模型个人知识库工具部署、微调及对比选型
BlueSocks152的博客
02-20 1277
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
Google Gemma
thesky123456的博客
04-24 1038
这是关于的一系列指南和示例的集合。Gemma 是一系列轻量级、最先进的开放模型，由创建 Gemini 模型所用的相同研究和技术构建而成。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 9259
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
使用 Xinference 启动自定义模型：从本地加载与部署指南
Ven%的博客
05-22 2952
本文详细介绍了如何在 Docker 环境中使用 Xinference 框架加载和部署本地自定义模型。首先，Xinference 支持从本地路径加载模型，通过 XINFERENCE_MODEL_SRC 环境变量设置为 local，并将模型目录挂载到容器内。其次，文章提供了改造后的 Docker 命令示例，并解释了关键参数的作用，如模型目录结构、挂载路径和日志级别。此外，还介绍了如何验证模型加载成功、多模型管理、性能调优和常见问题解决方法。通过本文的指导，用户可以轻松部署私有或微调的模型，满足特定业务需求。
无错误！xinference部署本地模型glm4-9b-chat、bge-large-zh-v1.5
zbc的博客
06-27 1万+
使用xinference部署大语言模型 glm4-9b-chat、embedding模型 bge-large-zh-v1.5
Centos上用Xinference部署大模型！
Q794469的博客
05-23 1696
【代码】用Xinference本地部署大模型！
Xinference安装与部署大模型
niulinbiao的博客
04-15 2105
本文主要介绍Xinference框架的使用方式，使用的环境是ubantu官方教程。
使用 Xinference 部署本地模型
洛阳泰山的博客
04-24 8717
是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
xinference 使用本地模型
09-11
Xinference是一个用于推理和部署机器学习模型的工具包，它支持在本地运行模型，这意味着用户可以直接在本地计算机上加载和执行模型，而不需要将数据发送到云端服务器。这有助于保护用户的隐私、减少网络延迟，并提供更高的性能和灵活性。在Xinference中，你可以通过以下几个步骤来使用本地模型： 1. **安装xinference库**：首先需要安装xinference及其依赖的库，比如TensorFlow或PyTorch，取决于你的模型架构。 2. **加载模型**：从本地磁盘或其他本地存储路径加载训练好的模型文件，如`.pb`（TensorFlow）或`.pth`（PyTorch）等。 3. **初始化模型实例**：根据所选框架创建模型的xinference实例，通常会包含一些预处理步骤和配置信息。 4. **输入处理**：对预测所需的数据进行必要的预处理，以便与模型的输入规格匹配。 5. **模型推理**：调用xinference实例的`infer`或`run`方法，传入输入数据，获取模型的预测结果。 6. **结果解析**：处理模型返回的结果，可能涉及解码、分类或者其他后续操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Jun-Howie

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值