hadoop+MYSQL+HBASE+HIVE伪分布式搭建

最新推荐文章于 2024-05-20 00:05:49 发布

原创

最新推荐文章于 2024-05-20 00:05:49 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文详细介绍了如何在单节点上搭建Hadoop的伪分布式环境，包括JDK的安装配置，Hadoop的环境变量设置，配置文件修改，以及hadoop namenode和datanode的启动。接着，文章讲述了Zookeeper的安装配置，MySQL的安装和创建Hive元数据所需的数据库。最后，讲解了Hive和HBase的安装步骤以及相关配置，包括Hive与MySQL的连接配置和HBase的分布式模式设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.hadoop伪分布式安装和部署
前期准备：
按步安装虚拟机
网络配置：
配置网络
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改并添加以下内容
BOOTPROTO=static //修改为静态网络
ONBOOT=yes
IPADDR0=192.168.159.44 //子网IP
GATEWAY0=192.168.159.2 //网关
PREFIXOO=24
DNS1=8.8.8.8 //子网掩码
DNS2=8.8.4.4 //备用子网掩码
wq！ //保存并退出

重启网络
	service network restart

测试网络是否ping得通
	ping www.baidu.com

关闭防火墙
firewall-cmd --state //查看防火墙状态
systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //关闭防火墙开机自启动
关闭selinux
vi /etc/selinux/config
SELINUX = disabled //修改为disabled值
修改hosts和hostname
vi /etc/hosts
#添加IP和网络名
192.168.159.44 zrn
wq! //保存并退出

	vi /etc/hostname
	zrn  //将网络名修改为zrn
	wq! //保存并退出
重启虚拟机
	reboot

上传压缩包：
链接xshell
上传所要配置的各种压缩包
JDK安装与配置
tar -zxvf jdk包全路径 -C /opt
cd /opt
mv jdk包名 jdk
vi /etc/profile
#添加以下内容
export JAVA_HOME=/opt/jdk
export PATH= $P A T H :$ JAVA_HOME/bin
wq! //保存并退出
java -version //测试是否配置成功
伪分布式进行时：
解压并配置环境变量
tar -zxvf hadoop压缩包全路径 -C /opt/
cd /opt/
mv 文件名称 hadoop
vi /etc/profile
#添加以下内容
export HADOOP_HOME=/opt/hadoop
export PATH= $P$