没有合适的资源?快使用搜索试试~ 我知道了~
2.2 ambari部署hdp1


试读
41页
需积分: 0 3 下载量 47 浏览量
更新于2022-08-04
收藏 3.52MB PDF 举报
介绍41.11.2规划 41.322.1准备相关包 52.22.32.4设置免密登录 933.1修改主机名 103.23.3关闭防火墙 103.43.53.6禁

1
使用 Ambari 部署 HDP 平台
Name : 曲中岭
Email: zlingqu@126.com
Q Q : 441869115
日 期 :2021 年 08 月

2
目录
1 介绍 .......................................................................................................................................... 4
1.1 AMBARI 介绍 ........................................................................................................................... 4
1.2 规划 ....................................................................................................................................... 4
1.3 ANSIBLE 脚本 ........................................................................................................................... 4
2 AMBARI-SERVER 初始化 ........................................................................................................... 5
2.1 准备相关包 ........................................................................................................................... 5
2.2 安装 NGINX 服务..................................................................................................................... 7
2.3 添加 YUM 私有 REPO ............................................................................................................... 8
2.4 设置免密登录 ....................................................................................................................... 9
3 AMBARI-AGENT 初始化 .......................................................................................................... 10
3.1 修改主机名 ......................................................................................................................... 10
3.2 HOSTS 配置 ........................................................................................................................... 10
3.3 关闭防火墙 ......................................................................................................................... 10
3.4 关闭 SELINUX ........................................................................................................................ 10
3.5 配置 LIMITS 参数 .................................................................................................................. 10
3.6 禁用交换分区 ..................................................................................................................... 11
3.7 禁用大内存页功能 ............................................................................................................. 11
3.8 时间同步 ............................................................................................................................. 11
3.9 安装 JDK .............................................................................................................................. 11
3.10 添加 AMBARI 源 .................................................................................................................... 11
3.11 安装 AMBARI-AGENT ............................................................................................................... 11
4 AMBARI 部署 ........................................................................................................................... 12
4.1 MYSQL 准备 ........................................................................................................................... 12
4.2 部署 AMBARI-SERVER .............................................................................................................. 12
4.2.1
安装服务
................................................................................................................... 12
4.2.2
数据库驱动配置
....................................................................................................... 12
4.2.3
配置初始化
............................................................................................................... 13
4.2.4
数据库初始化
........................................................................................................... 14
4.2.5
启动服务
................................................................................................................... 15
5 部署 HADOOP 集群 ................................................................................................................... 16
5.1 登录 AMBARI 界面 ................................................................................................................ 16
5.2 启动 AMBARI 部署向导 ........................................................................................................ 16
5.3 选择版本 ............................................................................................................................. 17
5.4 安装选项 ............................................................................................................................. 19
5.5 确认主机 ............................................................................................................................. 19
5.6 选择服务 ............................................................................................................................. 23
5.7 分配主要组件 ..................................................................................................................... 24
5.8 从属组件配置 ..................................................................................................................... 25

3
5.9 定制服务 ............................................................................................................................. 25
5.10 REVIEW 概要 .......................................................................................................................... 28
5.11 安装、启动和检测 ............................................................................................................. 29
5.12 汇总 ..................................................................................................................................... 30
6 添加服务 ................................................................................................................................ 32
6.1 添加 YARN+MAPREDUCE2 服务 ............................................................................................... 32
6.2 添加 HIVE 服务 ..................................................................................................................... 34
6.3 添加 SPARK 服务 ................................................................................................................... 35
6.4 添加 SQOOP 服务 .................................................................................................................. 36
6.5 添加 OOZIE 服务 ................................................................................................................... 36
6.6 添加 KAFKA 服务 ................................................................................................................... 37
6.7 概览 ..................................................................................................................................... 38
7 排错 ........................................................................................................................................ 40
7.1 HIVE 安装报警 ...................................................................................................................... 40
7.2 KAFKA 安装报警 .................................................................................................................... 40

4
1 介绍
1.1 ambari 介绍
Ambari 是 Apache Software Foundation 中的一个顶级项目,它可以创建、管理、监视
Hadoop 整个生态圈(例如 Hive、HBase、Sqoop、ZooKeeper 等)的集群,使得 Hadoop 以
及相关的大数据软件更容易使用。
Ambari 是一个分布式架构的软件,由 Ambari Server 和 Ambari Agent 两部分组成,用
户可通过 Ambari Server 通知 Ambari Agent 安装对应的软件,Ambari Agent 会定时地发送各
个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI 界
面上,方便用户了解到集群的各种状态,并进行相应的维护。
1.2 规划
说明:
⚫ 第 0 台作为主控服务器,部署 ambari-server,搭建私有 yum 源
⚫ 第 1-10 台作为 slave,部署 ambari-agent,也是 hadoop 运行的地方。
⚫ mysql 数据库位于 192.168.3.199,使用 docker 启动的的,后面会说。实际生产中,
一般归 DBA 管理,这里不再单独列出。
1.3 ansible 脚本
本文中的内容有一部分可以使用 ansible 方便的管理,地址:
https://github.com/zlingqu/ansible/tree/master/hdp
序号
IP
hostname
OS
数据盘
角色
0
10.12.19.31
devops-10-12-19-31
CentOS7.8
ambari-server,yum-repo
1
10.11.16.1
10-11-16-1.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
2
10.11.16.2
10-11-16-2.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
3
10.11.16.3
10-11-16-3.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
4
10.11.16.4
10-11-16-4.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
5
10.11.16.5
10-11-16-5.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
6
10.11.16.6
10-11-16-6.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
7
10.11.16.7
10-11-16-7.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
8
10.11.16.8
10-11-16-8.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
9
10.11.16.9
10-11-16-9.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop
10
10.11.16.10
10-11-16-10.dm-ai.com
CentOS7.8
/data
ambari-agent,hadoop

5
2 Ambari-server 初始化
本章节的操作针对 Ambari-server 节点操作!
2.1 准备相关包
在未订阅的情况下,Cloudera 官方已经不提供相关包的下载了(),,商业化进程进一
步加快。官方公告:https://cn.cloudera.com/downloads/paywall-expansion.html 。
我自己在百度网盘保存了一份:
链接: https://pan.baidu.com/s/1bRtnpyYMIK8N1zXj61Y86Q
提取码: qjs3
下载好后,放到/data/hdp 目录,会得到如下四个 tgz 压缩文件
# ls -lh *gz
-rw-r--r-- 1 root root 2.0G Jul 27 23:43 ambari-2.7.5.0-centos7.tar.gz
-rw-r--r-- 1 root root 9.2G Jul 29 00:55 HDP-3.1.5.0-centos7-rpm.tar.gz
-rw-r--r-- 1 root root 159K Jul 29 00:55 HDP-GPL-3.1.5.0-centos7-gpl.tar.gz
-rw-r--r-- 1 root root 87M Jul 29 01:10 HDP-UTILS-1.1.0.22-centos7.tar.gz
# pwd
/data/hdp
分别解压四个文件,解压后的目录结构如下类似:
# ls -lh
total 12G
drwxr-xr-x 3 root root 21 Aug 2 18:03 ambari
-rw-r--r-- 1 root root 2.0G Jul 27 23:43 ambari-2.7.5.0-centos7.tar.gz
drwxr-xr-x 3 1001 users 21 Dec 18 2019 HDP
-rw-r--r-- 1 root root 9.2G Jul 29 00:55 HDP-3.1.5.0-centos7-rpm.tar.gz
drwxr-xr-x 3 1001 users 21 Dec 18 2019 HDP-GPL
-rw-r--r-- 1 root root 159K Jul 29 00:55 HDP-GPL-3.1.5.0-centos7-gpl.tar.gz
drwxr-xr-x 3 1001 users 21 Aug 13 2018 HDP-UTILS
-rw-r--r-- 1 root root 87M Jul 29 01:10 HDP-UTILS-1.1.0.22-centos7.tar.gz
# tree -L 4
.
├── ambari
│ └── centos7
│ └── 2.7.5.0-72
│ ├── ambari
│ ├── ambari.repo
│ ├── artifacts.txt
│ ├── build.id
│ ├── build_metadata.txt
│ ├── hotfix_index.html
│ ├── index.html
剩余40页未读,继续阅读
资源推荐
资源评论
101 浏览量

174 浏览量
137 浏览量
2021-05-13 上传
2017-12-15 上传
2018-05-24 上传
148 浏览量
2018-09-21 上传
2024-05-23 上传
2015-12-28 上传
2018-11-07 上传
102 浏览量
109 浏览量
188 浏览量
2021-03-02 上传

191 浏览量

163 浏览量

180 浏览量
125 浏览量
1601 浏览量
资源评论


半清斋
- 粉丝: 2524
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 基于 PyTorch 框架的 EfficientDet 目标检测实现
- 大数据时代公共服务面临的风险及规避.docx
- 信息化环境下企业组织结构对交易成本的影响分析001.doc
- 台军后勤信息化建设探析.doc
- 单片机C语言学习总结好资料.doc
- 电大《计算机应用基础(Win)》形成性考核册(参考标准答案).doc
- 软件工程师笔试经典题.docx
- PLC控制系统设计方案的一般步骤.doc
- 基于单片机的智能交通灯的研究设计.doc
- 智能化弱电系统项目管理培训资料.doc
- 电大--职业技能实训《数据库基础与应用》.doc
- 论我国互联网金融发展问题与对策探索.docx
- 信息化能力建设26济宁市专业技术人员在线测验试题及答案.doc
- 《电子商务实务》课程数字化教学资源建设实践研究.doc
- 众筹项目管理参与人法律地位及保护.doc
- 创建综观课堂教学体系的理论创新与实践申报项目管理的相关情况.doc
安全验证
文档复制为VIP权益,开通VIP直接复制
