qq_22482081的博客

背景：同事写了很长一段sql，执行时间特别长，让我帮他优化一下 执行引擎： spark 一个小时都跑不出结果，卡在mapshuffle阶段 impala 不到一分钟出结果 过程： 多次调试： 怀疑是GC引起的，尝试修改driver，executor内存，无效 set spark.executor.memory = 4g; set spark.driver.memory = 10g; set spark.sql.adaptive.shuffle.targetPostShuffleInputSiz