3、Hive基础

常用交互命令

1. -e 不进入hive的交互窗口执行sql语句
   hive -e "select * from student;"
2. -f 执行脚本中的sql语句
   （1）. 创建hive.sql文件
   文件中正确输入sql语句
   select * from student;
   （2）. 执行文件中的sql语句
   hive -f hive.sql
   （3）. 将执行的结果追加到文件中
   hive -f hive.sql > hive_result.txt

其他常用命令操作

1. 退出hive窗口
   exit：先隐性提交数据，再退出
   quit：不提交数据，退出
2. 在hive命令行窗口中查看hdfs文件系统
   dfs -ls /;
3. 在hive命令行窗口查看本地文件系统
   ! ls /
4. 查看hive中输入的所有历史命令
   进去当前用户的跟目录，查看.hivehistory文件

使用jdbc连接hive

1. 开启hiveserver2

    

   

   开启hiveserver2.png

2. 新开窗口连接
   开启beeline
   !connect jdbc:hive2://hadoop-100:10000

   

   beeline.png

常见属性设置

Hive数据仓库位置配置

1. default数据仓库的最原始位置是在hdfs上的，/user/hive/warehouse路径下
2. 在数据仓库目录下，没有对默认的数据库default创建文件夹，如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹
3. 修改default数据仓库原始位置
   将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中

<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>

配置同组用户有执行权限
hdfs dfs -chmod g+w /user/hive/warehouse

hive默认数据库.png

default数据库下有张student表，test.db是自己创建的数据库，如上图

hive新建数据.png

test.db数据库下有张people表，如上图

查询后信息显示配置

实现显示当前数据库，以及查询表的头信息配置

1. hive-site.xml文件中添加如下配置信息

<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
</property>

<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
</property>

1. 重新启动hive
   配置前

    

   

   修改前.png

    

   配置后

    

   

   修改后.png

    

   

   修改后2.png

Hive运行日志信息配置

1. Hive的log默认存放在(当前用户名下)/tmp/hadoop/hive.log文件下
2. 修改hive的log存放位置
   修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为hive-log4j.properties
   修改hive-log4j.properties文件中修改log存放位置
   hive.log.dir=/opt/module/hive/logs

参数配置方式

1. 查看当前所有的配置信息
   set;

2. 参数配置的三种方式
   （1）. 配置文件方式
   默认配置文件：hive-default.xml
   用户自定义配置文件：hive-site.xml
   注意：用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的所有Hive进程都有效。
   （2）. 命令行参数方式
   启动Hive时，可以在命令行添加-hiveconf param=value来设定参数，仅对本次hive启动有效。
   如，hive -hiveconf mapred.reduce.tasks=10;
   查看，set mapred.reduce.tasks;

    

   

   命令行参数方式.png

    

   （3）. 参数声明方式
   可以在HQL中使用SET关键字设定参数，仅对本次hive启动有效。
   如，set mapred.reduce.tasks=100;
   查看，set mapred.reduce.tasks;

    

   

   参数声明方式.png

   
   上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在会话建立以前已经完成了。

Hive数据类型

基本数据类型

对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。

集合数据类型

Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STRUCT与C语言中的Struct类似，它封装了一个命名字段集合，复杂数据类型允许任意层次的嵌套。

例子

有一个json格式的字符串

{
    "name": "ZJ",
    "parent": [
        "Z",
        "J"
    ],
    "score": {
        "语文": 80,
        "数学": 90,
        "英语": 100
    },
    "address": {
        "province": "河南",
        "city": "新乡"
    }
}

有一些数据

ZJ  Z_J 语文:80_数学:90_英语:100  河南_新乡
ZFH Z_FG    语文:100_数学:90_英语:180 河南_新乡

将这些数据保存在hive表中
首先创建表

create table student(
    name string,
    parents array<string>,
    score map<string, int>,
    address struct<province:string, city:string>
) row format delimited
fields terminated by '\t'
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

创建表的相关语句解释
row format delimited
fields terminated by ',' 列分隔符
collection items terminated by '_' MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ':' MAP中的key与value的分隔符
lines terminated by '\n';行分隔符,默认\n，可不写
导入数据

load data local inpath '/opt/module/datas/student.txt' into table student;

查询数据

select * from student;
select name,parents[0],parents[1],score["语文"],address.province from student;

类型转化

Hive的原子数据类型是可以进行隐式转换的，类似于Java的类型转换，例如某表达式使用INT类型，TINYINT会自动转换为INT类型，但是Hive不会进行反向转化，例如，某表达式使用TINYINT类型，INT不会自动转换为TINYINT类型，它会返回错误，除非使用CAST操作

隐式类型转换规则如下

1. 任何整数类型都可以隐式地转换为一个范围更广的类型，如TINYINT可以转换成INT，INT可以转换成BIGINT。
2. 所有整数类型、FLOAT和STRING类型都可以隐式地转换成DOUBLE。
3. TINYINT、SMALLINT、INT都可以转换为FLOAT。
4. BOOLEAN类型不可以转换为任何其它的类型。

可以使用CAST操作显示进行数据类型转换

例如CAST('1' AS INT)将把字符串'1' 转换成整数1；如果强制类型转换失败，如执行CAST('X' AS INT)，表达式返回空值 NULL。