Hive SQL实现行转列跟列转行

### Hive SQL 中行转列和列转行的实现方法 #### 行转列 (Pivot) 在Hive SQL中，行转列通常通过`GROUP BY`语句配合聚合函数来完成。对于更复杂的场景，则可以利用内置函数如 `collect_set()` 或者 `concat_ws()`. 当需要将某列中的不同值汇总成一行并以特定字符分隔时，可采用如下方式： ```sql SELECT id, CONCAT_WS(',', COLLECT_SET(value_column)) AS aggregated_values FROM table_name GROUP BY id; ``` 此查询会把表内相同ID下的value_column字段的不同取值收集起来形成一个由逗号分隔的字符串[^4]. #### 列转行 (Unpivot) 针对列转行为需求,Hive提供了专门用于展开数组或map类型的两个重要工具——`LATERAL VIEW` 结合 `EXPLODE` 及其变体 `POSEXPLODE`. - **Explode**: 将单个单元格内的复杂数据结构拆分成多条记录. 假设有一个包含多个标签的字符串列表作为单一字段存储: ```sql SELECT t.id, e.tag FROM tags_table t LATERAL VIEW EXPLODE(SPLIT(t.tags, ',')) exploded_table AS e; ``` 上述命令将会依据逗号分割tags字段，并为每一个子项创建新的行. - **Posexplode**: 类似于explode功能但是额外返回元素的位置索引。 如果想要获取位置信息的话就可以这样写： ```sql SELECT t.id, p.pos, p.value FROM complex_data t LATERAL VIEW POSEXPLODE(array_field) posexpanded_table AS pos, value; ``` 为了进一步处理含有不确定层级的数据集，在某些情况下可能还需要嵌套使用这些操作以便达到预期效果[^3]. 同样地，如果面对的是已知固定数量级别的转换任务，则可以直接指定各级别的映射关系来进行变换[^2].