我的运行Tomcat(7.0.28)的Java Web应用程序会定期无响应.我希望得到一些可能的罪魁祸首(同步？)的建议,以及一些推荐的工具,用于收集有关崩溃期间发生的事情的更多信息.我积累的一些事实:
当Web应用程序冻结时,tomcat继续将请求线程提供给应用程序,但应用程序不会释放它们.线程池填满最大值(当前为250),然后后续请求立即失败.在正常操作期间,永远不会有超过2或3个活动线程.
有没有错误或出现问题时,记录到我们的任何Tomcat或web应用程序日志的任何类型的异常.
通过tomcat管理Web应用程序在我们的应用程序上执行"停止"然后"启动"可以立即解决此问题(直到今天).
最近频率已经是一天两到三次,虽然今天更糟糕,可能是20次,有时候不会立即恢复生机.
问题仅在工作时间发生
我们的登台系统不会出现此问题
出现问题时,服务器上的处理器和内存使用率保持不变(并且相当低).Tomcat报告了大量的可用内存.
发生问题时,Tomcat会继续响应.管理Web应用程序工作得很好,和tomcat继续将请求发送到我们的应用程序,直到池中的所有线程都填满.
发生问题时,我们的数据库服务器保持响应.我们使用Spring框架进行数据访问和注入.
当使用率很高时通常会出现问题,但使用率从未出现异常高的峰值.
问题历史:大约一年半前发生过类似的事情.在许多服务器配置和代码更改后,问题消失,直到大约一个月前.在过去的几周里,它的发生频率更高,平均每天2到3次,有时连续几次.
我今天发现了一些可能没有线程安全的服务器代码,我为此修好了,但问题仍在发生(尽管不那么频繁).这是非线程安全代码可能导致的问题吗？
更新:有几个帖子暗示数据库连接池耗尽,我做了一些搜索,发现了另一个Stackoverflow问题,它解释了我遇到的几乎所有问题.
显然,Apache的BasicDataSource实现中maxActive和maxIdle连接的默认值均为8.此外,maxWait设置为-1,因此当池耗尽并且有新的连接请求进入时,它将永远等待而不记录任何有点例外.我仍然要等待这个问题再次发生并在JVM上执行jstack转储,以便我可以分析该信息,但看起来这就是问题所在.它唯一没有解释的是为什么应用程序有时无法从这个问题中恢复.我认为这些请求有时会堆积起来,一旦它落后,就永远无法赶上.
更新二:我在崩溃期间跑了jstack,发现约250以下的(最大线程数):
"http-nio-443-exec-294" daemon prio=10 tid=0x00002aaabd4ed800 nid=0x5a5d in Object.wait() [0x00000000579e2000]
java.lang.Thread.State: WAITING (on object monitor)
at java.lang.Object.wait(Native Method)
at java.lang.Object.wait(Object.java:485)
at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1118)
- locked <0x0000000743116b30> (a org.apache.commons.pool.impl.GenericObjectPool$Latch)
at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:106)
at org.apache.commons.dbcp.BasicDataSource.getConnection(BasicDataSource.java:1044)
at org.springframework.jdbc.datasource.DataSourceUtils.doGetConnection(DataSourceUtils.java:111)
at org.springframework.jdbc.datasource.DataSourceUtils.getConnection(DataSourceUtils.java:77)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:573)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:637)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:666)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:674)
at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:718)
对于我未经训练的眼睛,这看起来相当确凿.看起来数据库连接池已达到上限.我在没有修改maxActive和maxIdle的情况下配置了maxWait为3秒,以确保我们开始查看池填满时记录的异常.然后我会将这些值设置为适当的值并进行监控.
更新III:配置maxWait后,我开始在我的日志中看到这些,如预期的那样:
org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object
at …