HBase与Hive集成

最新推荐文章于 2025-07-09 20:01:01 发布

原创最新推荐文章于 2025-07-09 20:01:01 发布 · 413 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hbase #hive #hadoop

大数据同时被 2 个专栏收录

58 篇文章

订阅专栏

HBase

6 篇文章

订阅专栏

本文介绍了如何配置Hive与Zookeeper的连接，并通过Hive将数据加载到中间表，然后使用MapReduce将数据导入到与HBase关联的Hive表中，最后检查Hive和HBase表的数据同步情况。操作步骤包括修改hive-site.xml，创建Hive表，加载数据，以及数据导入和验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在 hive-site.xml 中添加 zookeeper 的属性，如下

  <property>     
	<name>hive.zookeeper.quorum</name>     
	<value>hadoop100,hadoop101,hadoop102</value> 
  </property> 
  <property>     
	<name>hive.zookeeper.client.port</name>     
	<value>2181</value> 
  </property>

进入hive
bin/hive

创建表

CREATE TABLE hive_hbase_emp_table(
empno int,ename string, job string, mgr int, hiredate string, sal double,     comm double, deptno int 
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:co mm,info:deptno") TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

在 Hive 中创建临时中间表，用于 load 文件中的数据

CREATE TABLE emp(     empno int,     ename string,     job string,     mgr int,     hiredate string,     sal double,     comm double,     deptno int ) row format delimited fields terminated by '\t';

向 Hive 中间表中 load 数据（只是上传）

hive> load data local inpath '/software/emp.txt' into table emp;

查看表信息

select * from emp;

可以看到如下就是所上传的数据
在这里插入图片描述
将中间表中的数据导入到 Hive 关联 Hbase 的那张表中（走MR）

hive> insert into table hive_hbase_emp_table select * from emp;

查看 Hive 以及关联的 HBase 表中是否已经成功的同步插入了数据

Hive：

hive> select * from hive_hbase_emp_table;

HBase：

Hbase> scan 'hbase_emp_table'