Flink任务OOM问题

最新推荐文章于 2025-04-17 00:51:55 发布

头顶榴莲树

最新推荐文章于 2025-04-17 00:51:55 发布

阅读量5.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据

本文链接：https://blog.csdn.net/qq_32068809/article/details/124147431

大数据专栏收录该内容

51 篇文章

订阅专栏

当读取Hive大表时遇到Task内存不足的问题，可能会引发GC异常和TaskManager心跳超时。为优化内存分配，可以观察TaskManager内存使用并调整相关配置，例如将jobmanager内存设为2GB，taskmanager内存设为4GB，分配2个任务槽位，确保每个槽位内存低于2GB，从而满足任务需求。了解Flink内存模型对于资源优化至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当我们要读取大表时，例如hive表，很容易出现task内存不够用的情况，当这种情况出现时，任务可能会报出GC异常或者TaskManager心跳异常等，如下：

1、java.lang.OutOfMemoryError: GC overhead limit exceeded

2、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id 【containerID】 timed out.

这时我们可以观察TaskManager的内存使用情况，进而为其分配合适的内存或者槽数，

如图我们可以看到其中一个槽的task消耗了1.28G，所以我们的taskManager总的内存一定要比1.28G大一些，所以我们可以通过设置下面一些参数来优化内存分配：

-Djobmanager.memory.process.size=2048mb
-Dtaskmanager.memory.process.size=4096mb
-Dtaskmanager.numberOfTaskSlots=2

在这里jobmanager的内存我们给了2G，这就很充足了，主要是taskmanager，我们给了4G，槽数我们给了两个，平均每个槽也就分到不到2G的内存，这样就满足了我们任务的资源需求，不同的任务需要不同的优化方式，所以一定要掌握Flink内存模型，这样才能对资源进行优化