一、集群简介

集群Cluster

Cluster: 集群是为了解决某个特定问题将多台计算机组合起来形成的单个系统 Cluster常见的三种类型：

LB：LoadBalancing（负载均衡）由多个主机组成，每个主机只承担一部分访问

HA：High Availiablity（高可用）SPOF（single Point Of failure） MTBF:Mean Time Between Failure 平均无故障时间，正常时间 MTTR:Mean Time To Restoration（ repair）平均恢复前时间，故障时间 A=MTBF/（MTBF+MTTR） 

HPC：High-performance computing（高性能计算，国家战略资源）

二、lvs简介

LVS:Linux Virtual Server，负载调度器，内核集成，章文嵩，阿里的四层SLB(Server LoadBalance)是基 于LVS+keepalived实现

工作原理： VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS，根据调度算法来挑选RS

lvs集群的类型

lvs-nat： 修改请求报文的目标IP,多目标IP的DNAT

lvs-dr： 操纵封装新的MAC地址

lvs-tun： 在原请求IP报文之外新加一个IP首部

lvs-fullnat： 修改请求报文的源和目标IP

nat模式

Ivs-nat: 本质是多目标IP的DNAT，通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和 PORT实现转发

RIP和DIP应在同一个IP网络，且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈

支持端口映射，可修改请求报文的目标PORT

VS必须是Linux系统，RS可以是任意OS系统

DR模式

DR：Direct Routing，直接路由，LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源 IP/PORT，以及目标IP/PORT均保持不变

特点

1.Director和各RS都配置有VIP

2.确保前端路由器将目标IP为VIP的请求报文发往Director

3.在前端网关做静态绑定VIP和Director的MAC地址

4.RS的RIP可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；

5.RIP的网关不能指向DIP，以确保响应报文不会经由Director

6.RS和Director要在同一个物理网络

7.请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

8.不支持端口映射（端口不能修改）

TUN模式

转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而在原IP报文之外再封装一个IP首部 （源IP是DIP，目标IP是RIP），将报文发往挑选出的目标RS；RS直接响应给客户端（源IP是VIP，目标IP 是CIP

特点

1.DIP, VIP, RIP都应该是公网地址

2.RS的网关一般不能指向DIP

3.请求报文要经由Director，但响应不能经由Director

4.不支持端口映射

5.RS的OS须支持隧道功

fullnet模式

fullnat：通过同时修改请求报文的源IP地址和目标IP地址进行转发 CIP --> DIP VIP --> RIP

特点

1.VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一般不会指向DIP

2.RS收到的请求报文源地址是DIP，因此，只需响应给DIP；但Director还要将其发往Client

3.请求和响应报文都经由Director

4.支持端口映射

三、lvs的调度算法

lvs调度算法类型

静态方法：仅根据算法本身进行调度，不考虑RS的负载情况

动态方法：主要根据每RS当前的负载状态及调度算法进行调度 Overhead=value 较小的RS将被调度

lvs静态调度算法

1、RR：roundrobin 轮询 RS分别被调度，当RS配置有差别时不推荐

2、WRR：Weighted RR，加权轮询根据RS的配置进行加权调度，性能差的RS被调度的次数少 3、SH：Source Hashing，实现session sticky，源IP地址hash；将来自于同一个IP地址的请求始终发往 第一次挑中的RS，从而实现会话绑定

4、DH：Destination Hashing；目标地址哈希，第一次轮询调度至RS，后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS，典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商

lvs动态调度算法

1、LC：least connections（最少链接发） 适用于长连接应用Overhead（负载值）=activeconns（活动链接数） x 256+inactiveconns（非活 动链接数）

2、WLC：Weighted LC（权重最少链接） 默认调度方法Overhead=(activeconns x 256+inactiveconns)/weight

3、SED：Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是，当node1的权重为1，node2的权重为10，经过运算前几次的调度都会被node2承接

4、NQ：Never Queue，第一轮均匀分配，后续SED

5、LBLC：Locality-Based LC，动态的DH算法，使用场景：根据负载状态实现正向代理

6、LBLCR：LBLC with Replication，带复制功能的LBLC，解决LBLC负载不均衡问题，从负载重的复制 到负载轻的RS

4.15版本内核以后新增调度算法

1.FO(Weighted Fai Over)调度算法：常用作灰度发布 在此FO算法中，遍历虚拟服务所关联的真实服务器链表，找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器，进行调度 当服务器承接大量链接，我们可以对此服务器进行过载标记（IP_VS_DEST_F OVERLOAD），那么vs调度 器就不会把链接调度到有过载标记的主机中。

2.OVF(Overflow-connection)调度算法 基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器，直到其活动 连接数量超过权重值，之后调度到下一个权重值最高的真实服务器,在此OVF算法中，遍历虚拟服务相关 联的真实服务器链表，找到权重值最高的可用真实服务器。

---------------------------------------------------------------------------------------------------------------------------------

四、lvs的多端口轮询问题解决方案

1.环境流程图

2.环境设定

首先编写shell脚本vmset.sh，便于之后进行IP等设置

vim /bin/vmset.sh
-----------------------------------------------------------------------------------------
#!/bin/bash
[ "$#" -lt "3" ] && {
  echo "error: Please input device deviceip and hostname following $0"
  exit 1
}
ifconfig $1 &> /dev/null || {
  echo $1 is not exist
  exit 2
}
CONNECTION=`nmcli connection show  | awk "/$1/"'{print $1}'`
[ -n  "$CONNECTION" ] && {
   nmcli connection delete $CONNECTION
}
sleep 2
ping -c1 -w1 $2 &> /dev/null && {
  echo $2 is in used !!!
  exit 3
}


hostnamectl hostname $3
cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
$2      $3
EOF

if [ "$4" != "noroute" ]
then
nmcli connection add type ethernet ifname $1 con-name $1 ipv4.method manual ipv4.addresses $2/24  ipv4.dns 8.8.8.8 ipv4.gateway 172.25.254.2
nmcli connection reload
nmcli connection up $1
else
nmcli connection add type ethernet ifname $1 con-name $1 ipv4.method manual ipv4.addresses $2/24
nmcli connection reload
nmcli connection up $1
fi

ip addr show $1
hostname

router 

先设置两张网卡的IP(顺便设置一下主机名)

[root@router ~]# vmset.sh eth0 172.25.254.100 router
[root@router ~]# vmset.sh eth1 192.168.0.100 router noroute

设定内核路由功能

[root@router ~]# echo net.ipv4.ip_forward=1 >> /etc/sysctl.conf

设置数据转发策略

设置内网出口方向源IP改为192.168.0.100
[root@router ~]# iptables -t nat -A POSTROUTING -o eth1 -j SNAT --to-source 192.168.0.100
设置外网出口方向源IP改为172.25.254.100
[root@router ~]# iptables -t nat -A POSTROUTING -o eth0 -j SNAT --to-source 172.25.254.100

vsnode 

设置IP

[root@vsnode ~]# vmset.sh eth0 192.168.0.50 vsnode noroute

设置网关192.168.0.100

[root@vsnode ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection

利用环回设置VIP

[root@vsnode ~]# cd  /etc/NetworkManager/system-connections/
[root@vsnode system-connections]# cp -p eth0.nmconnection lo.nmconnection
[root@vsnode system-connections]# vim lo.nmconnection

刷新网卡配置

[root@vsnode system-connections]# nmcli connection reload
[root@vsnode system-connections]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7）
[root@vsnode system-connections]# nmcli connection up lo
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/8）

确认配置完成情况

client

配置IP、网关

[root@client ~]# vmset.sh eth0 172.25.254.99 client
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection

刷新网卡配置

[root@client ~]# nmcli connection reload
[root@client ~]# nmcli connection up eth0
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/6）

确认配置情况

RS1

设置IP、网关并刷新

[root@rs1 ~]# vmset.sh eth0 192.168.0.10 rs1 noroute
[root@rs1 ~]# nmcli connection modify eth0 ipv4.gateway 192.168.0.100
[root@rs1 ~]# nmcli connection reload 
[root@rs1 ~]# nmcli connection up eth0 
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/5）

利用环回设置VIP

[root@rs1 ~]# cd /etc/NetworkManager/system-connections/
[root@rs1 system-connections]# cp -p eth0.nmconnection lo.nmconnection
[root@rs1 system-connections]# vim lo.nmconnection

刷新环回配置

[root@rs1 system-connections]# nmcli connection reload
[root@rs1 system-connections]# nmcli connection up lo
连接已成功激活（D-Bus 活动路径：/org/freedesktop/NetworkManager/ActiveConnection/7）

设置arp禁止响应

[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

下载并配置httpd

[root@rs1 ~]# dnf install httpd -y
[root@rs1 ~]# echo 192.168.0.10 -RS1 > /var/www/html/index.html

开启httpd并关闭防火墙

[root@rs1 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
[root@rs1 ~]# systemctl disable --now firewalld.service
Removed "/etc/systemd/system/multi-user.target.wants/firewalld.service".
Removed "/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service".

RS2

配置IP

[root@bbb ~]# vmset.sh eth0 192.168.0.20 rs2 noroute

下载并配置httpd

[root@rs2 ~]# dnf install httpd -y
[root@rs2 ~]# echo 192.168.0.20 -RS2 > /var/www/html/index.html

其余同上

最后在vsnode上配置ipvsadm

[root@vsnode ~]# dnf install ipvsadm -y
[root@vsnode ~]# ipvsadm -A -t 192.168.0.200:80 -s rr
[root@vsnode ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80
[root@vsnode ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80
[root@vsnode ~]# ipvsadm-save > /etc/sysconfig/ipvsadm
[root@vsnode ~]# systemctl enable --now ipvsadm
Created symlink /etc/systemd/system/multi-user.target.wants/ipvsadm.service → /usr/lib/systemd/system/ipvsadm.service.

关闭防火墙

[root@vsnode ~]# systemctl disable --now firewalld.service
Removed "/etc/systemd/system/multi-user.target.wants/firewalld.service".
Removed "/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service".

在client进行测试

3.多端口轮询问题

在rs主机中同时开始http和https两种协议

[root@rs1&rs2 ~]# dnf install mod_ssl -y
[root@rs1&rs2 ~]# systemctl restart httpd

在vsnode中添加https的轮询策略

[root@vsnode ~]# ipvsadm -A -t 192.168.0.200:443 -s rr
[root@vsnode ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.10:443 -g
[root@vsnode ~]# ipvsadm -a -t 192.168.0.200:443 -r 192.168.0.20:443 -g

轮询错误重现

解决方案：使用火墙标记访问vip的80和443的所有数据包，设定标记为6666，然后对此标记进行负载

[root@vsnode ~]# iptables -t mangle -A PREROUTING -d 192.168.0.200 -p tcp -m multiport --dports 80,443 -j MARK --set-mark  6666
[root@vsnode ~]# ipvsadm -A -f 6666 -s rr
[root@vsnode ~]# ipvsadm  -a -f 6666 -r 192.168.0.10 -g
[root@vsnode ~]# ipvsadm  -a -f 6666 -r 192.168.0.20 -g

结果

五、lvs的会话粘滞解决方案

设定ipvs调度策略

[root@vsnode ~]# ipvsadm -E -f 6666 -s rr -p 3000