resin access log导致的锁问题一例

最新推荐文章于 2025-08-12 21:03:53 发布

转载最新推荐文章于 2025-08-12 21:03:53 发布 · 167 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/434445

文章标签：

#java #运维 #后端

本文分析了nginx监控中出现的4xx错误比例偏高的问题，特别是499错误，并通过jstack找到了原因所在——Resin 3.1.9及3.1.11版本中的AccessLog模块存在锁问题，最终给出了两种解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线上遇到的一个case，应用结构是nginx----->resin---java，其中nginx做lb，resin做为java的容器。在nginx层面做http code的监控，发现有4xx比例高的的报警：

分析nginx日志，发现是由于499比例高导致

 
    
         xxx xxxxx - [29
         /Oct/2012
         :04:10:03 +0800] 
         "GET /GetConfiguration.jsp?peer_version=2.3.0.4779&peer_id=E00B3B81B458D7D5A3C2E2BD85865354 HTTP/1.0" 
         499 0 
         "-" 
         "-" 
         "-" 
         "-" 
         xxxxx:8080
         " "
         -
         " "
         0.001" 
        
 
         xxxxx xxxxx - [29
         /Oct/2012
         :04:10:03 +0800] 
         "GET /GetConfiguration.jsp?peer_version=2.3.0.4779&peer_id=E00B3B81B458D7D5A3C2E2BD85865354 HTTP/1.0" 
         499 0 
         "-" 
         "-" 
         "-" 
         "-" 
         "xxxx:8080" 
         "-" 
         "0.000" 
        

  

499一般是由于后端响应超时造成，但是这里的499响应时间都在毫秒以内，证明不是超时导致，而是后端直接不能响应抛出。对于java应用来说会有两种情况，一是线程锁导致，另一个是堆栈导致。

使用jstack打印出堆栈分析，发现有类似下面的这种线程被锁：

 
         "http-0.0.0.0:8080-65096$1864960835" 
         daemon prio=
         10 
         tid=
         0x000000004c169800 
         nid=
         0x4bf8 
         waiting 
         for 
         monitor entry [
         0x0000000043e8e000
         ..
         0x0000000043e8ed10
         ] 
        
         java.lang.Thread.State: BLOCKED (on object monitor) 
        
         at com.caucho.server.log.AccessLog.log(AccessLog.java:
         345
         ) 
        
         - waiting to lock <
         0x00002aaab522a638
         > (a java.lang.Object) 
        
         at com.caucho.server.webapp.WebAppFilterChain.doFilter(WebAppFilterChain.java:
         223
         ) 
        
         at com.caucho.server.dispatch.ServletInvocation.service(ServletInvocation.java:
         265
         ) 
        
         at com.caucho.server.http.HttpRequest.handleRequest(HttpRequest.java:
         273
         ) 
        
         at com.caucho.server.port.TcpConnection.run(TcpConnection.java:
         682
         ) 
        
         - locked <
         0x00002aab3a6542f8
         > (a java.lang.Object) 
        
         at com.caucho.util.ThreadPool$Item.runTasks(ThreadPool.java:
         730
         ) 
        
         at com.caucho.util.ThreadPool$Item.run(ThreadPool.java:
         649
         ) 
        
         at java.lang.Thread.run(Thread.java:
         619
         )