业务方反馈凌晨应用出现报错,无法连接数据库:

 

### Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is com.alibaba.druid.pool.GetConnectionTimeoutException: wait millis 5000, active 0, maxActive 64

可以看到连接池报错获取连接超时(设置为5秒),该应用故障期间到数据库连接为0(active 0)。检查监控发现业务故障期间数据库负载很低、无异常等待、alert日志无报错,并且其余连到该库的应用都正常,猜测是应用本身的问题。

查看阿里云文档发现一个该报错的介绍:

经过开发检查,确实是代码问题:很久以前代码中添加了内存缓存,但没有设置失效时间,添加当时请求量不大,所以没有发生问题。随着缓存量越来越大,应用占用内存越来越多,k8s发现应用占用资源过多,会把pod关掉,关闭期间网络就会连接不上,于是应用报错连接数据库超时。检查发现缓存其实99.9%没有命中,修改一行代码 去掉缓存后OK。使用缓存时,缓存的maxsize和ttl起码得设置一个。

druid 连接池常用参数

参考:《RDS MySQL 开发实战》

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐