Hive 动态分区小文件过多问题优化

一、问题描述

为了支撑相应的业务需求，本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。而小文件产生过多的影响主要分为以下两种情况：

（1） 从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。

（2）在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。
所以，我们必须要解决上述小文件过多的情况，可以从输入、中间过程和输出来入手进行优化。

二、知识概括

1.简要描述动态分区
所谓的动态分区，就是对分区表insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive也提供了类似的机制，即动态分区。

[注意] hive使用动态分区，需要进行相应的配置。

2. 动态分区相关配置项介绍