近期工作上真的到处都在遇到OOM。
Kafka查询出现OOM
原因:一次查询创建了太多consumer对象。解决方案:Consumer对象存放到ThreadLocal中复用,并在请求结束后调用 consumer#unsubscribe consumer#close 方法关闭Consumer对象,释放内存。
业务上出现OOM
使用我们JAR包的十几个应用的内存都达到了惊人的6G。显然根据他们实际的业务评估,根本不可能出现如此严重的内存消耗。
经过我的排查,主要代码中出现了两处严重的内存泄露。
①存放在ThreadLocal中的消息没有手动调用ThreadLocal#remove方法释放内存。
②滥用内存队列,例如 LinkedBlockingQueue ,构造的时候不指定大小,就是一个无界队列。有的内存队列只存不消费,造成内存严重浪费。有的队列消费能力不足,导致队列严重积压。
文件传输OOM
待续