扩展 Milvus 依赖项

原创 于 2025-05-17 16:10:35 发布 · 846 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#milvus #linq #c#

Milvus 依赖于 MinIO、Kafka、Pulsar 和 etcd 等各种依赖项。扩展这些组件可以增强 Milvus 对不同需求的适应性。

 

Scaleout

扩展 MinIO

增加每个 MinIO pod 的资源

MinIO 是 Milvus 使用的对象存储系统，可以为每个 pod 增加 CPU 和内存资源。

# new-values.yaml
minio:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

您还可以通过手动更改每个 MioIO Persistent Volume Claim (PVC) 的spec.resources.requests.storage 值来增加 MioIO 集群的磁盘容量。请注意，您的默认存储类别应允许卷扩展。

建议您为 Milvus 实例添加一个额外的 MinIO 服务器池。

# new-values.yam;
minio:
  zones: 2

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

这将为你的 MinIO 集群添加一个额外的服务器池，允许 Milvus 根据每个服务器池的可用磁盘容量写入 MinIO 服务器池。例如，如果一个由三个服务器池组成的群集共有 10 TiB 可用空间，各服务器池的分配情况如下：

可用空间写入可能性
池 A3 TiB30% (3/10)
资源库 B2 TiB20% (2/10)
C 组5 个 TiB50% (5/10)

MinIO 不会自动重新平衡新服务器池中的对象。如有需要，您可以通过mc admin rebalance 手动启动重新平衡程序。

卡夫卡

增加每个 Kafka 代理 pod 的资源

通过调整每个 Kafka 代理 pod 的 CPU 和内存资源来提高 Kafka 代理的容量。

# new-values.yaml
kafka:
  resources:
     limits:
        cpu: 2
        memory: 12Gi

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

您还可以通过手动更改每个 Kafka Persistent Volume Claim (PVC) 的spec.resources.requests.storage 值来增加 Kafka 集群的磁盘容量。确保默认存储类允许卷扩展。

建议您为 Milvus 实例添加一个额外的 Kafka 服务器池。

# new-values.yaml
kafka:
  replicaCount: 4

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

这将为你的 Kafka 集群添加一个额外的代理。

Kafka 不会自动在所有代理之间重新平衡主题。如果需要，请在登录每个 Kafka 代理 pod 后使用bin/kafka-reassign-partitions.sh 手动重新平衡所有 Kafka 代理的主题/分区。

脉冲星

Pulsar 分离了计算和存储。您可以独立增加 Pulsar 代理（计算）和 Pulsar 账本（存储）的容量。

增加每个 Pulsar 代理 pod 的资源

# new-values.yaml
pulsar:
  broker:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

增加每个 Pulsar 博彩机 pod 的资源

# new-values.yaml
pulsar:
  bookkeeper:
    resources:
       limits:
         cpu: 4
         memory: 16Gi

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

您还可以通过手动更改每个 Pulsar 代理的持久卷索赔 (PVC) 的spec.resources.requests.storage 值来增加 Pulsar 集群的磁盘容量。请注意，默认存储类别应允许卷扩展。

Pulsar 托管 pod 有两种存储类型：journal 和legers 。对于journal 类型的存储，可考虑使用ssd 或gp3 作为存储类。下面是一个为 Pulsar 日志指定存储类的示例。

pulsar:
  bookkeeper:
    volumes:
      journal:
        size: 20Gi
        storageClassName: gp3

添加额外的 Pulsar 代理 pod

# new-values.yaml
pulsar:
  broker:
    replicaCount: 3

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus
# new-values.yaml
pulsar:
  bookkeeper:
    replicaCount: 3

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

etcd

# new-values.yaml
etcd:
  resources:
     limits:
       cpu: 2
       memory: 8Gi

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

增加额外的 etcd pod

etcd pod 的总数应为奇数。

# new-values.yaml
etcd:
  replicaCount: 5

保存文件后，使用以下命令应用更改：

helm upgrade <milvus-release> --reuse-values -f new-values.yaml milvus/milvus

扩展 Milvus 集群

Milvus 支持组件的水平扩展。这意味着你可以根据自己的需要增加或减少每种类型的工作节点数量。

本主题介绍如何在 Milvus 集群中进行扩展和缩放。我们假定您在扩展之前已经安装了 Milvus 群集。另外，我们建议您在开始之前先熟悉一下Milvus 的架构。

本教程以扩展三个查询节点为例。要扩展其他类型的节点，请在命令行中将queryNode 替换为相应的节点类型。

有关如何使用 Milvus Operator 扩展群集的信息，请参阅使用 Milvus Operator 扩展群集。

什么是水平扩展？

水平扩展包括向外扩展和向内扩展。

向外扩展

向外扩展是指增加群集中的节点数量。与向上扩展不同，向外扩展不需要为群集中的一个节点分配更多资源。相反，向外扩展是通过添加更多节点来横向扩展群集。

Scaleout

扩展

Scaleup

扩展

根据Milvus 架构，无状态工作节点包括查询节点、数据节点、索引节点和代理。因此，你可以根据业务需求和应用场景来扩展这些类型的节点。你可以手动或自动扩展 Milvus 集群。

一般来说，如果您创建的 Milvus 集群使用率过高，您就需要对其进行缩减。以下是一些可能需要缩减 Milvus 集群的典型情况：

  • CPU 和内存利用率在一段时间内居高不下。
  • 查询吞吐量变高。
  • 需要更高的索引速度。
  • 需要处理大量大型数据集。
  • 需要确保 Milvus 服务的高可用性。
向内扩展

向内扩展是指减少集群中的节点数量。一般来说，如果您创建的 Milvus 集群利用率不足，您就需要对其进行扩展。下面是一些需要对 Milvus 集群进行扩展的典型情况：

  • 一段时间内 CPU 和内存利用率较低。
  • 查询吞吐量变低。
  • 不需要更高的索引速度。
  • 要处理的数据集规模较小。

我们不建议大幅减少工作节点的数量。例如，如果集群中有五个数据节点，我们建议每次减少一个数据节点，以确保服务可用性。如果第一次尝试缩放后服务可用，则可以继续进一步减少数据节点的数量。

前提条件

运行kubectl get pods ，获取所创建的 Milvus 集群中的组件及其工作状态列表。

NAME                                            READY   STATUS       RESTARTS   AGE
my-release-etcd-0                               1/1     Running      0          1m
my-release-milvus-datacoord-7b5d84d8c6-rzjml    1/1     Running      0          1m
my-release-milvus-datanode-665d4586b9-525pm     1/1     Running      0          1m
my-release-milvus-indexcoord-9669d5989-kr5cm    1/1     Running      0          1m
my-release-milvus-indexnode-b89cc5756-xbpbn     1/1     Running      0          1m
my-release-milvus-proxy-7cbcc8ffbc-4jn8d        1/1     Running      0          1m
my-release-milvus-pulsar-6b9754c64d-4tg4m       1/1     Running      0          1m
my-release-milvus-querycoord-75f6c789f8-j28bg   1/1     Running      0          1m
my-release-milvus-querynode-7c7779c6f8-pnjzh    1/1     Running      0          1m
my-release-milvus-rootcoord-75585dc57b-cjh87    1/1     Running      0          1m
my-release-minio-5564fbbddc-9sbgv               1/1     Running      0          1m

Milvus 只支持添加工作节点，不支持添加协调器组件。

扩展 Milvus 集群

您可以手动或自动扩展 Milvus 群集。关于使用水平 Pod Autoscaling (HPA) 进行自动扩展，请参阅为 Milvus 配置 HPA。如果启用了自动缩放，当 CPU 和内存资源消耗达到你设定的值时，Milvus 集群将自动缩小或扩大。

目前，Milvus 2.1.0 只支持手动缩进和缩出。

向外扩展

运行helm upgrade my-release milvus/milvus --set queryNode.replicas=3 --reuse-values 手动缩减查询节点。

如果成功，将在查询节点上添加三个正在运行的 pod，如下图所示。

NAME                                            READY   STATUS    RESTARTS   AGE
my-release-etcd-0                               1/1     Running   0          2m
my-release-milvus-datacoord-7b5d84d8c6-rzjml    1/1     Running   0          2m
my-release-milvus-datanode-665d4586b9-525pm     1/1     Running   0          2m
my-release-milvus-indexcoord-9669d5989-kr5cm    1/1     Running   0          2m
my-release-milvus-indexnode-b89cc5756-xbpbn     1/1     Running   0          2m
my-release-milvus-proxy-7cbcc8ffbc-4jn8d        1/1     Running   0          2m
my-release-milvus-pulsar-6b9754c64d-4tg4m       1/1     Running   0          2m
my-release-milvus-querycoord-75f6c789f8-j28bg   1/1     Running   0          2m
my-release-milvus-querynode-7c7779c6f8-czq9f    1/1     Running   0          5s
my-release-milvus-querynode-7c7779c6f8-jcdcn    1/1     Running   0          5s
my-release-milvus-querynode-7c7779c6f8-pnjzh    1/1     Running   0          2m
my-release-milvus-rootcoord-75585dc57b-cjh87    1/1     Running   0          2m
my-release-minio-5564fbbddc-9sbgv               1/1     Running   0          2m
向内扩展

运行helm upgrade my-release milvus/milvus --set queryNode.replicas=1 --reuse-values 扩展查询节点。

如果成功，查询节点上的三个运行 pod 将缩减为一个，如下例所示。

NAME                                            READY   STATUS    RESTARTS   AGE
my-release-etcd-0                               1/1     Running   0          2m
my-release-milvus-datacoord-7b5d84d8c6-rzjml    1/1     Running   0          2m
my-release-milvus-datanode-665d4586b9-525pm     1/1     Running   0          2m
my-release-milvus-indexcoord-9669d5989-kr5cm    1/1     Running   0          2m
my-release-milvus-indexnode-b89cc5756-xbpbn     1/1     Running   0          2m
my-release-milvus-proxy-7cbcc8ffbc-4jn8d        1/1     Running   0          2m
my-release-milvus-pulsar-6b9754c64d-4tg4m       1/1     Running   0          2m
my-release-milvus-querycoord-75f6c789f8-j28bg   1/1     Running   0          2m
my-release-milvus-querynode-7c7779c6f8-pnjzh    1/1     Running   0          2m
my-release-milvus-rootcoord-75585dc57b-cjh87    1/1     Running   0          2m
my-release-minio-5564fbbddc-9sbgv               1/1     Running   0          2m

 

Milvus 核心组件（3）--- MinIO详解
talentyiyy的专栏
07-23 1849
MinIO是一个开源的对象存储服务器，提供了高度可扩展、高性能的存储解决方案，用于存放非结构化的数据，如图片、视频、日志文件等。兼容性：MinIO完全兼容Amazon S3 API，这意味着它可以无缝对接现有的S3生态系统工具、库和应用程序，无需修改代码即可迁移至MinIO或在两者之间切换。设计理念：以极简主义为设计理念，MinIO易于安装和配置，适合各种规模的部署，从开发环境到生产集群。
基于Milvus的语义检索系统实战
最新发布
AI天才研究院
07-15 860
你是否遇到过这样的情况：在电商平台搜索“轻便的笔记本电脑”，结果却跳出一堆“笔记本”（纸质本子）？传统关键词检索就像“文字拼图游戏”，只能机械匹配字符串，无法理解“轻便”“笔记本电脑”之间的语义关联。本文将教你用语义检索解决这类问题——通过将文本转化为“语义向量”，用向量相似度替代关键词匹配，让系统真正“理解”内容。我们的主角是专门处理向量数据的数据库Milvus，它能高效存储并快速检索百万级甚至十亿级向量数据。用“外卖客服”故事引出核心概念。
k8s 环境 milvus-集群 部署
2302_78308374的博客
03-28 1224
一、k8s 集群环境。
扩展 Milvus 集群
Made In SQL
05-10 898
Milvus支持组件的水平扩展，允许用户根据需要增加或减少工作节点数量。水平扩展包括向外扩展（增加节点）和向内扩展（减少节点）。向外扩展通过添加更多节点来横向扩展集群，而向内扩展则减少节点数量以优化资源利用。Milvus支持手动或自动扩展，其中自动扩展通过水平Pod自动缩放（HPA）实现。本文以扩展查询节点为例，介绍了如何使用Helm命令进行手动扩展和缩减。扩展操作适用于无状态工作节点，如查询节点、数据节点、索引节点和代理，但不支持协调器组件的扩展。在进行扩展操作前，建议先熟悉Milvus的架构，并确保集群
Helm部署Milvus集群
著名艺术家
03-28 5536
helm部署Milvus集群
基于 JuiceFS 搭建 Milvus 集群
weixin_38258315的博客
10-02 386
本文介绍了 JuiceFS 是什么，如何基于 JuiceFS 共享文件存储构建 Milvus 集群，以及用户使用该解决方案可以期待的性能。花椒壳-愿您平安健康 花椒壳-愿您平安健康 花椒壳资源网,资源下载,主要提供个人搜集资源、设计素材、音乐、视频、图片等一切与互联网有关的资源https://www.xinliu.vip/ 开源社区之间的合作是一件神奇的事情。热情、聪明和富有创造力的志愿者不仅使开源解决方案保持创新，而且还致力于以有趣和有用的方式将不同的工具结合在一起。Milvus是全球最受欢迎的矢
第9篇：Milvus分布式部署与扩展：从架构设计到实践指南
Gemini的博客
06-11 3203
通过这篇博客，我们详细介绍了Milvus的分布式架构设计、集群部署与管理。我们探讨了分布式架构设计的原理和思想，包括设计的优点，并详细讲解了集群部署的步骤和管理工具的使用。通过具体的实例和代码示例，我们展示了如何在实际应用中实现Milvus的分布式部署与扩展。Milvus的分布式架构设计和集群部署为处理大规模、高维度向量数据提供了高效、可靠的解决方案。通过合理的部署和管理，可以充分发挥Milvus的性能优势，为各类应用场景提供强大的支持。
Milvus向量数据库
科学的N次方
06-14 524
Milvus 是一个开源的向量数据库，专为处理高维向量数据而设计，常用于大规模向量相似性搜索和基于向量的机器学习应用。它支持高效地管理、搜索和操作嵌入（如文本、图像、音频的特征向量），在推荐系统、图像检索、语义搜索等领域有广泛应用。
Docker_Stack部署Milvus向量数据库集群_milvus
06-11
Docker是一个开源的应用容器引擎，它允许开发者打包应用及其依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。Docker容器与传统的虚拟机技术相比，更轻量级，启动和运行速度更快，...
Milvus数据库介绍
wangqiaowq的博客
02-19 1690
Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。Milvus 采用共享存储架构，​存储计算完全分离​，计算节点支持横向扩展。
Milvus 集群优化
Made In SQL
05-12 1240
Milvus 是一个专为大规模密集向量数据集设计的高性能开源向量数据库系统，适用于相似性搜索场景。在需要处理海量向量数据时，单个 Milvus 实例可能无法满足性能需求，此时就需要部署 Milvus 集群。
milvus本地集群部署(非k8s)
shulu的专栏
10-20 1428
milvus向量数据库本地集群部署(非k8s)
基于 JuiceFS 搭建 Milvus 分布式集群
ZILLIZ
05-25 750
✏️作者介绍：贾晶晶，Zilliz 数据工程师 & 高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式...
Milvus2.0.X分布式集群版本架构
qq_15821487的博客
06-01 1685
https://milvus.io/cn/docs/v2.0.x/architecture_overview.mdMilvus 采用共享存储架构，存储计算完全分离，计算节点支持横向扩展。从架构上来看，Milvus 遵循数据流和控制流分离，整体分为了 四个层次，分别为接入层（access layer）、协调服务（coordinator service）、执行节点（worker node）和存储层（storage）。各个层次相互独立，独立扩展和容灾。1、接入层由一组无状态 proxy 组成，是整个系统的门面，对
Nacos学习二（nacos安装）
qq_27185561的博客
08-05 1356
Nacos 安装 上篇文章介绍了nacos>>Nacos学习（一）<<，本章一起来安装使用。 预备环境准备 Nacos 依赖 Java 环境来运行。如果您是从代码开始构建并运行Nacos，还需要为此配置 Maven环境，请确保是在以下版本环境中安装使用: 64 bit OS，支持 Linux/Unix/Mac/Windows，推荐选用 Linux/Unix/Mac。 64 bit JDK 1.8+； Maven 3.2.x+； 安装方式 从 Github 上下载源码方式 git
0827线上教学｜利用Kubernetes部署Milvus分布式集群
ZILLIZ
08-17 616
Milvus 旨在帮助用户实现海量非结构化数据的近似检索和分析。单个 Milvus 实例可处理十亿级数据规模，而对于百亿或者千亿级数据，则需要一个 Milvus 集群实例。 Kubernetes 是一个可移植的，可扩展的开源平台，用于管理容器化的工作负载和服务，方便了声明式配置和自动化。 这次直播我们将教大家如何利用 Kubernetes 部署 Milvus 集群。 | 直播流程 ​ Milvus 分布式方案-Mishards 介绍 如何部署 StorageClass & ...
Milvus集群
06-14
### Milvus 集群部署与配置教程 Milvus 是一个高性能、可扩展的向量数据库，支持从快速原型到大规模生产的多种部署模式。以下是关于 Milvus 集群的部署与配置的相关信息。 #### 1. 安装 Milvus 集群 在每个节点上安装 Milvus 的过程可以通过容器化技术（如 Docker）简化[^2]。以下是一个典型的 Docker 安装和启动命令： ```bash # 下载 Milvus Docker 镜像 docker pull milvusdb/milvus:latest # 启动 Milvus 容器 docker run -d --name milvus -p 19530:19530 milvusdb/milvus:latest ``` 此步骤适用于单机环境下的快速部署。对于集群环境，建议使用 Helm 进行部署以实现更灵活的配置管理[^4]。 #### 2. 使用 PyMilvus 连接 Milvus 集群 启动并运行 Milvus 集群后，可以使用任何 Milvus SDK 与其交互。PyMilvus 是 Milvus 的 Python SDK，用于连接集群并执行基本操作[^1]。以下是安装 PyMilvus 的命令： ```bash pip install pymilvus ``` 通过 PyMilvus，用户可以轻松地与 Milvus 集群进行数据插入、查询等操作。 #### 3. 配置集群 Milvus 集群的配置涉及多个方面，包括共享存储、服务类型等。以下是一些关键配置项： - **共享存储**：在分布式环境中，确保所有节点能够访问相同的存储资源。可以通过创建共享存储类（StorageClass）来实现[^4]。 - **服务类型**：将默认的 ClusterIP 模式更改为 NodePort 或 LoadBalancer 模式，以便外部访问[^4]。 ```yaml # 示例：将 svc 更改为 NodePort 模式 kind: Service spec: type: NodePort ``` #### 4. 安装依赖 在某些情况下，可能需要手动安装 Milvus 的依赖项。例如，在二进制文件集群部署中，可能需要以下依赖[^5]： ```bash apt-get install --no-install-recommends curl ca-certificates libaio-dev libgomp1 libopenblas-dev ``` #### 5. 部署选项概述 Milvus 支持多种部署模式，包括单机版、分布式版以及云托管服务。根据具体需求选择合适的部署方式[^3]。对于大规模生产环境，推荐使用分布式部署，并结合 Kubernetes 和 Helm 工具进行管理。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值