OpenMetadata本地Kubernetes部署指南:快速搭建元数据管理平台
前言
OpenMetadata作为新一代元数据管理平台,提供了完整的元数据收集、管理和服务能力。本文将详细介绍如何在本地Kubernetes环境中快速部署OpenMetadata及其依赖组件,帮助开发者快速搭建测试环境。
环境准备
在开始部署前,请确保您的开发环境满足以下要求:
-
本地Kubernetes集群:可以选择以下任一方案
- Docker Desktop(内置Kubernetes)
- Minikube(推荐开发测试使用)
-
必备工具:
- kubectl:Kubernetes集群管理命令行工具
- Helm 3:Kubernetes包管理工具(仅支持Helm 3)
-
硬件资源:
- 建议分配至少4核CPU和8GB内存
部署步骤详解
1. 启动本地Kubernetes集群
对于大多数开发环境,我们推荐使用Minikube:
minikube start --cpus=4 --memory=8192
特别说明:对于MacOS M1芯片用户,需要使用以下命令:
minikube start --cpus=4 --memory=8192 --cni=bridge --driver=docker
2. 创建必要的Kubernetes密钥
OpenMetadata依赖MySQL和Airflow,需要预先创建访问凭证:
kubectl create secret generic mysql-secrets \
--from-literal=openmetadata-mysql-password=openmetadata_password
kubectl create secret generic airflow-secrets \
--from-literal=openmetadata-airflow-password=admin
kubectl create secret generic airflow-mysql-secrets \
--from-literal=airflow-mysql-password=airflow_pass
3. 添加Helm仓库
添加OpenMetadata官方Helm仓库:
helm repo add open-metadata https://helm.open-metadata.org/
验证仓库添加成功:
helm repo list
4. 安装依赖组件
OpenMetadata依赖以下组件:
- MySQL:元数据存储
- OpenSearch:搜索服务
- Airflow:任务调度
使用Helm一键安装:
helm install openmetadata-dependencies open-metadata/openmetadata-dependencies
安装完成后检查Pod状态:
kubectl get pods
预期看到以下服务正常运行:
- MySQL
- OpenSearch
- Airflow相关组件(Web UI、调度器等)
5. 安装OpenMetadata主服务
helm install openmetadata open-metadata/openmetadata
验证OpenMetadata Pod状态:
kubectl get pods --selector=app.kubernetes.io/name=openmetadata
6. 访问OpenMetadata UI
将服务端口转发到本地:
kubectl port-forward service/openmetadata 8585:http
浏览器访问:http://localhost:8585
默认登录凭证:
- 用户名:admin@open-metadata.org
- 密码:admin
环境清理
卸载OpenMetadata服务:
helm uninstall openmetadata
helm uninstall openmetadata-dependencies
重要:需要手动清理持久化存储:
kubectl delete persistentvolumeclaims mysql-0 elasticsearch-0
常见问题排查
镜像拉取失败
如果Pod出现ErrImagePull
错误,可以手动拉取镜像:
- 获取失败Pod的镜像名称:
kubectl get pods <POD_NAME> -o jsonpath="{..image}"
- 手动拉取镜像:
docker pull <IMAGE_NAME>
日志查看
查看OpenMetadata Pod日志:
kubectl logs <POD_NAME>
生产环境建议
本文介绍的是本地开发环境部署方案,生产环境部署需要考虑:
- 高可用配置
- 持久化存储方案
- 网络策略和安全配置
- 监控和告警机制
建议参考官方生产环境部署指南进行配置。
总结
通过本指南,您已经成功在本地Kubernetes环境中部署了完整的OpenMetadata平台。接下来可以:
- 探索平台功能
- 集成各类数据源连接器
- 通过API扩展平台能力
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考