mesos集群在centos部署文档.pdf

【 Mesos 集群在 CentOS 部署详解】 Mesos 是一款分布式系统内核，它能够将数据中心的资源抽象化，为上层应用提供统一的资源管理和调度。本篇文档将详细介绍如何在 CentOS 环境下搭建 Mesos 集群，包括 Docker 的安装、Zookeeper、Mesos、Marathon、HAProxy 和 Bamboo 的配置。 ### 一、环境准备 确保你的 CentOS 系统是 6.6 版本，且拥有足够的硬件资源。在这个例子中，我们将在单机环境中搭建，但可以根据需求扩展到多节点集群。通过 `cat /etc/redhat-release` 和 `uname -r` 命令检查系统版本和内核版本。 ### 二、安装 Docker 1. **下载 Docker RPM 包**：执行 `wget https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm`。 2. **安装依赖**：在安装 Docker 之前，需要先安装 `libcgroup`，运行 `yum install libcgroup -y`。 3. **安装 Docker**：使用 `rpm -ivh docker-engine-1.7.1-1.el6.x86_64.rpm` 进行安装。 4. **启动 Docker**：检查 Docker 版本后，使用 `service docker start` 或 `/etc/init.d/docker start` 启动 Docker。 ### 三、服务安装 #### 3.1 Zookeeper Zookeeper 是 Mesos 集群中的关键组件，用于协调服务。安装 Zookeeper： 1. **导入源**：执行 `rpm -Uvh http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm`。 2. **安装 Zookeeper**：使用 `yum install zookeeper zookeeper-server -y` 完成安装。 #### 3.2 Mesos 1. **导入 Mesos 源**：执行 `curl -o /etc/yum.repos.d/dataman.repo http://get.dataman.io/repos/centos/6/6/dataman.repo`。 2. **安装 Mesos**：使用 `yum install mesos -y` 安装 Mesos。 #### 3.3 Marathon Marathon 是 Mesos 上的一个长期运行服务调度器，负责应用程序的部署和管理。 1. **导入源**：再次导入 Dataman 源。 2. **安装 Marathon**：使用 `yum install marathon -y`。 #### 3.4 HAProxy HAProxy 作为负载均衡器，用于分发 Mesos 集群中的任务请求。 1. **安装 HAProxy**：简单地运行 `yum install haproxy -y`。 #### 3.5 Bamboo Bamboo 是 Mesos 的 Web UI，方便用户监控和管理 Mesos 集群。 1. **下载 Bamboo**：在 `/application` 目录下执行 `wget http://datamanpub.ufile.ucloud.com.cn/download/dataman-bamboo-0.9.0.tar.gz`。 2. **解压并部署**：使用 `tar -zxvf dataman-bamboo-0.9.0.tar.gz` 解压，然后根据文档进行配置和启动。 ### 四、集群配置与启动 1. **配置 Zookeeper**：设置 Mesos 和 Marathon 与 Zookeeper 的连接信息。 2. **配置 Mesos**：设置 Mesos 的主节点和从节点，以及资源分配策略。 3. **配置 Marathon**：定义服务部署策略，例如健康检查、端口映射等。 4. **配置 HAProxy**：配置 Mesos 集群的代理规则，确保服务请求被正确分发。 5. **启动服务**：按照启动顺序依次启动 Zookeeper、Mesos、Marathon 和 HAProxy，最后启动 Bamboo。 ### 五、监控与维护 1. **监控 Bamboo**：通过 Bamboo UI 监控 Mesos 集群的状态，包括任务运行情况、资源利用率等。 2. **日志管理**：定期查看各服务的日志，确保没有异常警告或错误。 3. **性能调优**：根据实际运行情况调整 Mesos、Marathon 和 HAProxy 的参数，优化性能。 在 CentOS 环境下部署 Mesos 集群是一项复杂的工作，需要对各个组件的配置和相互作用有深入理解。这个过程涉及了 Docker 的安装、Zookeeper 集群的搭建、Mesos 的部署以及 Marathon 的使用，还有 HAProxy 作为负载均衡器的角色。在实际操作中，确保每个步骤都按照最佳实践进行，以保证集群的稳定性和可靠性。同时，持续监控和优化是运维过程中不可或缺的部分。