26、云原生 AI/ML 栈：工具与技术深度解析

云原生 AI/ML 栈：工具与技术深度解析

在当今的科技领域，人工智能和机器学习（AI/ML）正以前所未有的速度发展。为了更高效地管理和应用这些技术，一系列云原生工具应运而生。本文将深入探讨这些工具，包括 KServe、Feast、Milvus 和 Apache Arrow，了解它们如何协同工作，为 AI/ML 工作负载提供支持。

1. KServe 模型服务流程

KServe 作为一个 Kubernetes 原生的模型服务项目，为 AI/ML 工作负载提供了现代应用所需的服务能力。它的服务流程主要包括预处理、预测和后处理三个阶段：
- 预处理 ：Transformer Service 将传入的数据转换为模型可用的形式。例如，对于一个预测图片中是否有热狗的模型，Transformer Service 会将传入的图片转换为向量，然后再传递给推理服务。在这个过程中，它还会从特征存储（如 Feast）中加载特征数据。
- 预测 ：Transformer Service 将预测工作委托给 Predictor Service。Predictor Service 负责从对象存储中加载模型，并使用提供的特征数据执行模型预测。
- 后处理 ：Transformer Service 接收预测结果，并进行必要的后处理，以准备向客户端应用程序发送响应。

2. Feast 全生命周期特征管理

Feast 项目源于 GoJek 的 ML 平台团队的经验。在构建核心 ML 工具后，团队发现数据科学家在将模型投入生产时面临困难，因此需要一种新的