Hive SQL中的lateral view explode 函数使用避坑指南

最新推荐文章于 2025-03-15 14:15:50 发布
最新推荐文章于 2025-03-15 14:15:50 发布
阅读量1.2k 收藏 7
点赞数 2
CC 4.0 BY-SA版权
文章标签： sql hive 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu7888/article/details/128161079
本文介绍Hive中Lateral View的功能与用法，包括如何配合explode等UDTF使用，实现复杂数据结构的拆分及聚合操作。通过具体实例展示如何对电影类别字段进行拆分，便于进一步的数据分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1．函数说明

EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。 [爆炸, 炸裂]

LATERAL VIEW  ：一入多出

用法：from  表  lateral  view  explode(集合字段)  炸裂表名(随便写)  as  别名;

解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

实例：

movie

category

《疑犯追踪》

悬疑,动作,科幻,剧情

《Lie to me》

悬疑,警匪,动作,心理,剧情

《战狼2》

战争,动作,灾难

select
    name,
    category_name
from 
    movie lateral view explode(category) table_tmp as category_name;

 结果如下：

《疑犯追踪》      悬疑
《疑犯追踪》      动作
《疑犯追踪》      科幻
《疑犯追踪》      剧情
《Lie to me》   悬疑
《Lie to me》   警匪
《Lie to me》   动作
《Lie to me》   心理
《Lie to me》   剧情
《战狼2》        战争
《战狼2》        动作
《战狼2》        灾难

 

 

使用lateral view的时候需要注意的几点：

1. lateral view的位置是from后where条件前；

2. 生成的虚拟表的表名不可省略；

3. from后可带多个lateral view；

4. 如果要拆分的字段有null值，需要使用lateral view outer 替代，避免数据缺失，这个坑我在工作中踩过！

探索 Hive 中 LATERAL VIEW 与 EXPLODE 的强大用法
2401_83088008的博客
03-21 300
和EXPLODE是 Hive 中非常实用的工具，它们可以帮助我们处理数组和映射类型的数据，将复杂的数据结构拆分成更易于分析的形式。通过合理使用这两个工具，我们可以更方便地进行数据查询和分析，挖掘出数据中的有价值信息。希望本文的示例能够帮助你更好地理解和使用和EXPLODE函数。在实际应用中，你可以根据具体的业务需求，灵活运用这两个工具，提高数据处理的效率和准确性。如果你在使用过程中遇到任何问题，欢迎在评论区留言讨论。
hive中的lateral view 与 explode函数的使用 行转列
mingming20547的博客
05-25 1513
hive中的lateral view 与 explode函数的使用 explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）， 本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中， 用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与lateral view在这
Hive-列转行(explode,lateral view)
Knight
11-21 1126
1．函数说明 EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行。 LATERAL VIEW 用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias 解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。 2．数据准备 movie category 《疑犯追踪》 悬疑,动作,科幻,剧情 《Lie to me》 悬疑,警匪,
Vuex的基本使用
名人卷耶
09-22 258
一、基本用法 1、使用 安装vuex依赖包 npm i vuex - save 导入vuex包 [ store / index.js ] import Vue from 'vue' import Vuex from 'vuex' // 1、导入vuex包 Vue.use(Vuex) // 1、导入vuex包 // 2、创建 store 对象 export default new Vuex.Store({ state: { }, // state提供唯一的公共数据源，所有
Hive 行转列(lateral view)
夏日麦香的博客
05-12 923
将列表式变量转为列， 例如 var1 value1 a c1,c2,c3,c2 b b1,b2,b1 将value1拆分转换为列，语句如下： select var1, value2 from table1 lateral view explode(split(value1, ",")) adTable as value2 ; 转换结果如下： var1 value2 a c1 a c2 a c3 a c
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
sodaloveer的博客
09-13 4891
【hive】行转列—explode()/posexplode()/lateral view 函数使用场景
python 实现 hive中类似 lateral view explode的功能示例
12-17
在处理分隔符分隔的数组数据时，Hive 提供了一种称为 `lateral view` 的机制，配合 `explode` 函数可以将单一记录中的数组元素拆分成多条记录。本文主要探讨如何在 Python 中模拟实现 Hive 的 `lateral view explode...
Hive SQL 之 `LATERAL VIEW EXPLODE` 的正确打开方式
进一步有进一步的欢喜~
12-24 2263
一文搞懂LATERAL VIEW EXPLODE
Hive SQL 精进系列：一行变多行的 LATERAL VIEW EXPLODE
最新发布
进一步有进一步的欢喜~
03-15 1482
当处理复杂数据结构时，例如数组和映射类型的数据，普通的 SQL 操作可能无法满足需求。而 `LATERAL VIEW EXPLODE` 这一组合功能就成为了解决这类问题的强大工具。本文将深入探讨 `LATERAL VIEW EXPLODE` 的原理、语法、使用场景，并通过丰富的案例来更好地理解帮掌握这一工具。
Hive SQL中的列转行（lateral view与explode）、行转列
weixin_49709859的博客
01-30 1万+
列转行、行转列的灵活运用
Hive轻松使用explode和lateral view，实现行转列
qq_37225630的博客
01-31 690
explode和lateral view的使用
Hive Lateral View + explode 详解
热门推荐
大数据
04-28 1万+
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数 UDF：一进一出 UDAF:聚集函数，多进一出，类似于：count/max/min UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段 百度explode()时，经常会出现lateral view + explode相关的文章，很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要，不然过程都不知道实现的，换个UDTF函数就不会使用了。 ..
hive列转行（lateral view explode）
Romantic_sir的博客
04-04 682
1．函数说明 explode(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 lateral view 用法：lateral view udtf(expression) tableAlias AS columnAlias 解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚...
hive中的lateral view 与 explode函数的使用
xuehuagongzi000的博客
10-21 1539
大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中，用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与lateral view在这种场景下大显身手。 lateral view的应用场景： 1、UDTF explode不能写在别的函数内 2、使用UDTF的时候，只支持一个字段，这时候就需要LATERA...
hive 列转行函数Lateral View + explode *
张俊杰 的博客
10-03 1895
列转行函数介绍 EXPLODE(col) EXPLODE(col) 大白话是,如果你传递的参数是Array, 会给这个Array分隔转成多行 ,如果你传递的是Map,就会给Map里面的每个元素分隔成多行和多列. 参数只能是Array或者是Map explode函数属于udtf,udtf在使用时候,不能和其它表达式一起出现在select子句后,言外之意只能单独出现在select子句中. LATERAL VIEW 用法：LATERAL VIEW udtf(expression) tableAlias AS co
Hive的lateral view [outer] explode()教程（好文收藏）
weixin_45857425的博客
06-15 6806
写在前面的话，hive的lateral view explode(map/array)函数，常常用于日常的代码中。本篇主要讲解被忽略的outer的作用。 ===lateral view 与 lateral view outer的区别 两者的区别: 主要就是当explode函数里传入的数据是否为null,lateral view explode(null) temp as id 时,结果不显示任何数据**(注意是指其他字段的数据也不返回**); lateral view outer explode(null)
hive函数之~hive当中的lateral view 与 explode
weixin_42575593的博客
07-05 720
1、使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。 其...
Hive中explode和lateral view函数使用
weixin_50646402的博客
09-23 533
UDF：用户自定义标量函数(User Defined Function)，使用场景是一进一出（一个数据项一个输出项）。UDAF：用户自定义聚合函数(User Defined Aggregation Function)，使用场景是多进一出（多个数据项返回一个结果），常见的是聚合函数UDTF：用户自定义表格函数(User Defined Table Function)，使用场景是一进多出（一个输入项转换为多个输出项），lateral和view explode可以实现类似效果。
Hive列转行 (Lateral View + explode)详解
zhaojuanwy的博客
08-13 303
hive列转行
hive 的lateral view explode的用法
02-14
### Hive `LATERAL VIEW` 和 `EXPLODE` 函数详解 #### 语法结构 在Hive查询语句中，`LATERAL VIEW`用于处理复杂的数据类型，如数组或映射。通过与`EXPLODE`函数结合使用，可以将这些复杂类型的元素展开成多行数据。 ```sql SELECT column1, ... , udtf_column_alias FROM source_table LATERAL VIEW EXPLODE(complex_column) exploded_table AS udtf_column_alias; ``` 此语法允许用户指定要爆炸的列以及生成的新表别名和新列别名[^1]。 #### 实际应用案例 考虑有一个名为`src`的表格，其中包含一列表示用户的ID及其关联的兴趣标签组成的数组： | id | tags | |----|------------------------| | 1 | ["music", "sports"] | | 2 | ["travel", "photography"]| 为了获取每一对(id, tag)，可执行如下SQL命令来实现这一目标: ```sql SELECT id, value FROM src LATERAL VIEW explode(tags) exploded_tags AS value; ``` 这会返回如下所示的结果集： | id | value | |--| | 1 | music | | 1 | sports | | 2 | travel | | 2 | photography | 当遇到某些记录中的复杂字段为空或NULL的情况时，可以通过添加关键字`OUTER`到`LATERAL VIEW`之后确保即使原表中有空值也能保留原始行而不丢失任何信息。 例如，在上述例子基础上如果希望对于那些tags为空或者不存在的情况下也能够显示对应的id，则应修改查询为： ```sql SELECT id, value FROM src LATERAL VIEW OUTER explode(tags) exploded_tags AS value; ``` 这样就可以得到包括所有源表记录在内的完整结果集合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据学习僧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值