记一次docker部署web服务性能瓶颈解决过程
博客原文安利一篇我翻译的国外大牛的神经网络入门文章在云计算领域,采用容器部署web服务越来越普遍,具有部署速度快,动态伸缩简单的特点。最近参与了一次公司采用docker容器技术部署web服务的一次实践,在压测过程遇到了一个性能问题,记录下来作为以后开发的一个积累。问题描述测试环境单台物理机,24核,120G内存部署场景采用docker容器,容器内部跑we
安利一篇我翻译的国外大牛的神经网络入门文章
在云计算领域,采用容器部署web服务越来越普遍,具有部署速度快,动态伸缩简单的特点。
最近参与了一次公司采用docker容器技术部署web服务的一次实践,在压测过程遇到了一个性能问题,记录下来作为以后开发的一个积累。
问题描述
测试环境
单台物理机,24核,120G内存
部署场景
采用docker容器,容器内部跑web应用。
压测过程
并发500访问。
1.启动一个容器,进行压测
2.启动四个容器,进行压测
问题现象
单容器场景下,没发现问题,跟物理部署单tomcat场景比,tps接近(均达到了17k)。
四个容器的场景下,发现tps只到23k,并且cpu占用只在50%左右。
后来我们把容器数量加到6个,发现依然没有改善,tps并没有上升。cpu占用率也没有提升。
问题分析
这个场景下很显然是有资源在cpu之前先到达了瓶颈。从而导致即使增加容器实例部署,也无法使cpu利用率上升。但通过对内存,network-io,disk-io监控,都没有发现有瓶颈出现,并且看了tomcat的线程数,即使全达到最大,也不会超出物理机的线程数限制。而在另外一个物理机上,这个tomcat的配置,4个实例是几乎可以将cpu打满。
问题定位解决过程
因为单容器时候没发现问题,因此我们重点怀疑是物理机的配置导致的。因此在我们这个启动容器的物理机上也部署了4个tomcat实例,压测发现果然跟4个容器一样,cpu无法打满,tps上不去。
这时候开发人员给了一个提示,怀疑是有cpu的软中断处理不过来了。
于是在又一次的压测过程,采用下面的命令进行监控
mpstat -P ALL 1
果然发现有个别cpu一直处于忙碌当中(idel列一直为0)
于是开发怀疑是物理的RPS没开,后来设置RPS之后就好了。
关于RPS/RFS的一些理解
参考
http://blog.csdn.net/yy405145590/article/details/9837839
http://www.linuxidc.com/Linux/2015-07/119424.htm
- RPS全称是 Receive Packet Steering, 这是Google工程师 Tom Herbert (therbert@google.com )提交的内核补丁, 在2.6.35进入Linux内核. 这个patch采用软件模拟的方式,实现了多队列网卡所提供的功能,分散了在多CPU系统上数据接收时的负载, 把软中断分到各个CPU处理,而不需要硬件支持,大大提高了网络性能。
- RFS 全称是 Receive Flow Steering, 这也是Tom提交的内核补丁,它是用来配合RPS补丁使用的,是RPS补丁的扩展补丁,它把接收的数据包送达应用所在的CPU上,提高cache的命中率。
- 这两个补丁往往都是一起设置,来达到最好的优化效果, 主要是针对单队列网卡多CPU环境(多队列多重中断的网卡也可以使用该补丁的功能,但多队列多重中断网卡有更好的选择:SMP IRQ affinity)
简单原理
RPS实现了数据流的hash归类,并把软中断的负载均衡分到各个cpu,实现了类似多队列网卡的功能。由于RPS只是单纯的把同一流的数据包分发给同一个CPU核来处理了,但是有可能出现这样的情况,即给该数据流分发的CPU核和执行处理该数据流的应用程序的CPU核不是同一个:数据包均衡到不同的cpu,这个时候如果应用程序所在的cpu和软中断处理的cpu不是同一个,此时对于cpu cache的影响会很大。那么RFS补丁就是用来确保应用程序处理的cpu跟软中断处理的cpu是同一个,这样就充分利用cpu的cache。
- 应用RPS之前: 所有数据流被分到某个CPU, 多CPU没有被合理利用, 造成瓶颈
- 应用RPS之后: 同一流的数据包被分到同个CPU核来处理,但可能出现cpu cache迁跃
- 应用RPS+RFS之后: 同一流的数据包被分到应用所在的CPU核
必要条件
使用RPS和RFS功能,需要有大于等于2.6.35版本的Linux kernel
看完支付宝扫个红包吧 😃
更多推荐
所有评论(0)