k8s网络排查集锦

1、网络不通时，排查是否监听端口的服务挂掉了

如果容器内的端口已经没有进程监听了，内核就会返回 Reset 包，客户端就会报错连接被拒绝，可以进容器 netns 检查下端口是否存活:

netstat -tunlp

2、网络不通时，是否被iptables drop了

检查报文是否有命中丢弃报文的 iptables 规则:

iptables -t filter -nvL
iptables -t nat -nvL
iptables -t raw -nvL
iptables -t mangle -nvL
iptables-save

3、查看 socket buffer是否正常

1、查看是否阻塞:
$ netstat -antup | awk '{if($2>100||$3>100){print $0}}'
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp     2066     36 9.134.55.160:8000       10.35.16.97:63005       ESTABLISHED 1826655/nginx

Recv-Q 是接收队列，如果持续有堆积，可能是高负载，应用处理不过来，也可能是程序的 bug，
卡住了，导致没有从 buffer 中取数据，
可以看看对应 pid 的 stack 卡在哪里了(cat /proc/$PID/stack)。

2、查看是否有 UDP buffer 满导致丢包:

# 使用 netstat 查看统计
$ netstat -s | grep "buffer errors"
    429469 receive buffer errors
    23568 send buffer errors
 
# 也可以用 nstat 查看计数器
$ nstat -az | grep -E 'UdpRcvbufErrors|UdpSndbufErrors'
UdpRcvbufErrors                 429469                 0.0
UdpSndbufErrors                 23568                  0.0

对于 TCP，发送 buffer 慢不会导致丢包，只是会让程序发送数据包时卡住，
等待缓冲区有足够空间释放出来，而接收 buffer 满了会导致丢包，可以通过计数器查看:

$ nstat -az | grep TcpExtTCPRcvQDrop
TcpExtTCPRcvQDrop               264324                  0.0

3、查看当前 UDP buffer 的情况:

$ ss -nump
Recv-Q    Send-Q          Local Address:Port         Peer Address:Port    Process
0         0             10.10.4.26%eth0:68              10.10.4.1:67       users:(("NetworkManager",pid=960,fd=22))
     skmem:(r0,rb212992,t0,tb212992,f0,w0,o640,bl0,d0)

rb212992 表示 UDP 接收缓冲区大小是 212992 字节，tb212992 表示 UDP 发送缓存区大小是 212992 字节。
Recv-Q 和 Send-Q 分别表示当前接收和发送缓冲区中的数据包字节数。

4、查看当前 TCP buffer 的情况:

$ ss -ntmp
ESTAB        0             0                    [::ffff:109.244.190.163]:9988                       [::ffff:10.10.4.26]:54440         users:(("xray",pid=3603,fd=20))
     skmem:(r0,rb12582912,t0,tb12582912,f0,w0,o0,bl0,d0)

rb12582912 表示 TCP 接收缓冲区大小是 12582912 字节，tb12582912 表示 TCP 发送缓存区大小是 12582912 字节。
Recv-Q 和 Send-Q 分别表示当前接收和发送缓冲区中的数据包字节数。

3、查看监听队列

$ ss -lnt
State      Recv-Q Send-Q Local Address:Port                Peer Address:Port
LISTEN     129    128                *:80                             *:*

Recv-Q 表示 accept queue 中的连接数，如果满了(Recv-Q的值比Send-Q大1)，要么是并发太大，
或负载太高，程序处理不过来；要么是程序 bug，卡住了，导致没有从 accept queue 中取连接，
可以看看对应 pid 的 stack 卡在哪里了(cat /proc/$PID/stack)。

4、查看网络计数器

$ nstat -az
...
TcpExtListenOverflows           12178939              0.0
TcpExtListenDrops               12247395              0.0
...
netstat -s | grep -E 'drop|overflow'
如果有 overflow，意味着 accept queue 有满过，可以查看监听队列看是否有现场。

5、查看 conntrack

$ conntrack -S
cpu=0   	found=770 invalid=3856 ignore=42570125 insert=0 insert_failed=0 drop=0 early_drop=0 error=0 search_restart=746284
cpu=1   	found=784 invalid=3647 ignore=41988392 insert=0 insert_failed=0 drop=0 early_drop=0 error=0 search_restart=718963
cpu=2   	found=25588 invalid=71264 ignore=243330690 insert=0 insert_failed=0 drop=0 early_drop=0 error=0 search_restart=2319295
cpu=3   	found=25706 invalid=70168 ignore=242616824 insert=0 insert_failed=0 drop=0 early_drop=0 error=18 search_restart=2320376
若有 insert_failed，表示存在 conntrack 插入失败，会导致丢包。

6、查看连接数

如果有 ss 命令，可以使用 ss -s 统计:

$ ss -s
Total: 470
TCP:   220 (estab 47, closed 150, orphaned 0, timewait 71)

Transport Total     IP        IPv6
RAW	  0         0         0
UDP	  63        60        3
TCP	  70        55        15
INET	  133       115       18
FRAG	  0         0         0

如果没有 ss，也可以尝试用脚本统计当前各种状态的 TCP 连接数:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

示例输出:

ESTABLISHED 18
TIME_WAIT 457

或者直接手动统计 /proc:

cat /proc/net/tcp* | wc -l

7、测试网络连通性

不断 telnet 查看网络是否能通:

while true; do echo "" | telnet ip port; sleep 0.1; done

没有安装 telnet，也可以使用 nc 测试:

$ nc -vz 10.0.0.3 443

8、排查流量激增

iftop 纠出大流量 IP

$ iftop
10.21.45.8  => 10.111.100.101  3.35Mb  2.92Mb  2.94Mb
            <=                  194Mb   160Mb   162Mb
10.21.45.8  => 10.121.101.22   3.41Mb  2.89Mb  3.04Mb
            <=                  192Mb   159Mb   172Mb
10.21.45.8  => 10.22.122.55     279Kb   313Kb   292Kb
            <=                 11.3Kb  12.1Kb  11.9Kb
...

netstat 查看大流量 IP 连接

$ netstat -np | grep 10.121.101.22
tcp        0      0 10.21.45.8:48320        10.121.101.22:12002     TIME_WAIT   -                   
tcp        0      0 10.21.45.8:59179        10.121.101.22:12002     TIME_WAIT   -                   
tcp        0      0 10.21.45.8:55835        10.121.101.22:12002     TIME_WAIT   -                   
tcp        0      0 10.21.45.8:49420        10.121.101.22:12002     TIME_WAIT   -                   
tcp        0      0 10.21.45.8:55559        10.121.101.22:12002     TIME_WAIT   -                   
...

9、排查资源占用

文件被占用

看某个文件在被哪些进程读写:
lsof <文件名>

看某个进程打开了哪些文件:
lsof -p <pid>

端口占用

查看 22 端口被谁占用:
lsof -i :22
netstat -tunlp | grep 22

10、测试对比 CPU 性能

看计算圆周率耗时，耗时越短说明 CPU 性能越强:

time echo "scale=5000; 4*a(1)"| bc -l -q

11、排查磁盘占用

空间占用

df -h

inode 占用

# df -i
Filesystem       Inodes  IUsed    IFree IUse% Mounted on
/dev/vda1       6553600 283895  6269705    5% /
/dev/vdb1      26214400  62421 26151979    1% /data

$ tune2fs -l /dev/vda1 | grep -i inode
Inode count:              6553600
Free inodes:              6465438

12、使用wireshark排查网络

找出没有收到响应的 dns 请求

dns && (dns.flags.response == 0) && ! dns.response_in

找出连接超时的请求

超时的时候客户端一般会发 RST 给服务端，过滤出握手超时的包:
(tcp.flags.reset eq 1) and (tcp.flags.ack eq 0)

过滤出服务端握手时响应 SYN ACK 慢的包:
tcp.flags eq 0x012 && tcp.time_delta gt 0.0001