qq_40600615的博客

原创 java百万数据导出防止OOM

最后我发现，大部分数据库是直接把查询出来的结果全部保存到ResultSet，全量直接放到JVM里面，这会导致堆内存直线飙升，通过资料查找，支持流式推送，数据库支持分批推送数据，通过设置条数先处理一批数据，再清除List集合内存，触发GC会把空的指针内存数据清除。最后肯定都不行，因为涉及多线程还有考虑同步问题，真正下载一个报表太效率太复杂了。我们这边项目报表比较多，有时候全机构单月数据量15万+条记录，报表列数据有100列字段，SQL效率慢的同时，内存也扛不住，领导就把任务分给我优化了。