困惑很多人的并发问题

在网络开发中，我发现有很多同学对一个基础问题始终是没有彻底搞明白。那就是一台服务器最大究竟能支持多少个网络连接？我想我有必要单独发一篇文章来好好说一下这个问题。

很多同学看到这个问题的第一反应是65535。原因是：“听说端口号最多有65535个，那长连接就最多保持65535个了”。是这样的吗？还有的人说：“应该受TCP连接里四元组的空间大小限制，算起来是200多万亿个！”

如果你对这个问题也是理解的不够彻底，那么今天讲个故事讲给你听！

一次关于服务器端并发的聊天

 

"TCP连接四元组是源IP地址、源端口、目的IP地址和目的端口。任意一个元素发生了改变，那么就代表的是一条完全不同的连接了。拿我的Nginx举例，它的端口是固定使用80。另外我的IP也是固定的，这样目的IP地址、目的端口都是固定的。剩下源IP地址、源端口是可变的。所以理论上我的Nginx上最多可以建立2的32次方（ip数）×2的16次方（port数）个连接。这是两百多万亿的一个大数字！！"

但是有时候会遇到报错，如目标 IP 都是110.242.68.3，目标端口都是 80。当同一个客户端建立大量连接时，会报错：

表示端口号不够用啦！一个劲地对着同一个 IP 和端口创建 TCP 连接，端口号不够用了，源端口那里没法给了。

可是知道端口号是 16 位的，范围是 1~65535，一共可以创建 65535 个 TCP 连接，Linux 对可使用的端口范围是有具体限制的，具体可以用如下命令查看。

[root]# cat /proc/sys/net/ipv4/ip_local_port_range 
1024 65000

 文件描述符

建立大量的TCP连接,直到又报错。

"进程每打开一个文件（linux下一切皆文件，包括socket），都会消耗一定的内存资源。如果有不怀好心的人启动一个进程来无限的创建和打开新的文件，会让服务器崩溃。所以linux系统出于安全角度的考虑，在多个位置都限制了可打开的文件描述符的数量，包括系统级、用户级、进程级。这三个限制的含义和修改方式如下："

• 系统级：当前系统可打开的最大数量，通过fs.file-max参数可修改

• 用户级：指定用户可打开的最大数量，修改/etc/security/limits.conf

• 进程级：单个进程可打开的最大数量，通过fs.nr_open参数可修改

 服务端百万连接达成记

“准备啥呢，还记得前面说过Linux对最大文件对象数量有限制，所以要想完成这个实验，得在用户级、系统级、进程级等位置把这个上限加大。我们实验目的是100W，这里都设置成110W，这个很重要！因为得保证做实验的时候其它基础命令例如ps，vi等是可用的。“

 

线程

 

 

突破了文件描述符限制，又开始肆无忌惮地创建起了TCP连接。

但我发现，系统的办事效率越来越慢，建立一个TCP连接花的时间越来越久。

因为每建一个TCP连接都需要消耗一个线程来为你服务？现在CPU老大那里都忙得不可开交了，一直在为你这好几十万个线程不停地进行上下文切换，我们精力有限啊，自然就没法像以前那么快为你服务了。

想起了之前似乎有人跟我说过 C10K 问题，就是当服务器连接数达到 1 万且每个连接都需要消耗一个线程资源时，操作系统就会不停地忙于线程的上下文切换，最终导致系统崩溃，这可不是闹着玩的。那我们现在应该怎么办呢？

现在这种每建一个TCP连接就创建一个线程的方式，是最传统的多线程并发模型，早期的操作系统也只支持这种方式。但现在我进化了，我还支持 IO 多路复用的方式，简单说就是一个线程可以管理多个 TCP 连接的资源，这样你就可以用少量的线程来管理大量的 TCP 连接了。

这次真是大开眼界了，赶紧把代码改成了这种 IO 多路复用的模型，将原来的 TCP 连接销毁掉，改成同一个线程管理多个 TCP 连接，很快，操作系统老大就恢复了以往的办事效率，同时 TCP 连接数又多了起来。 

 

内存

 

突破了端口号、文件描述符、线程数等重重限制的我，再次肆无忌惮地创建起了TCP连接。

直到有一次，我又收到了一张红牌。

 

嗨，又是啥东西限制了呀，改了不就完了。这个错误叫内存溢出，每个TCP连接本身，以及这个连接所用到的缓冲区，都是需要占用一定内存的，现在内存已经被你占满了，不够用了，所以报了这个错。此时只能加大服务器内存或者kill无用进程了。

 

CPU

由于你的 TCP 连接，CPU 占用率已经很长时间维持在 100%，此时还是只能加大服务器CPU核心数或者kill无用进程了。

 

结语

 

 

资源	一台Linux服务器的资源	一个TCP连接占用的资源	占满了会发生什么
CPU	看你花多少钱买的	看你用它干嘛	电脑卡死
内存	看你花多少钱买的	取决于缓冲区大小	OOM
临时端口号	ip_local_port_range	1	cannot assign requested address
文件描述符	fs.file-max	1	too many open files
进程\线程数	ulimit -n	看IO模型	系统崩溃

互联网后端的业务特点之一就是高并发. 但是一台服务器最大究竟能支持多少个TCP连接，这个问题似乎却又在困惑着很多同学。希望今天过后，你能够将这个问题踩在脚下摩擦！