使用Hive SQL插入动态分区的Parquet表OOM异常分析

最新推荐文章于 2024-10-02 12:15:57 发布

在路上的小y

最新推荐文章于 2024-10-02 12:15:57 发布

阅读量561

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据问题总结文章标签： hive sql hadoop

本文链接：https://blog.csdn.net/qq_43709558/article/details/127245199

1.异常描述

当运行“INSERT … SELECT”语句向Parquet或者ORC格式的表中插入数据时，如果启用了动态分区，你可能会碰到以下错误，而导致作业无法正常执行。

Hive客户端：

Task with the most failures(4):
Diagnostic Messages for this Task:
Error: GC overhead limit exceeded
...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1 HDFS Read: 0 HDFS Write: