基于rancher搭建k8s容器管理平台

规划：

服务器	描述	内容
192.168.15.139	master1节点	etcd/Control /worker/rancher
192.168.8.142	node1节点	worker、etcd
192.168.8.141	node2节点	worker
192.168.15.56	node3节点	worker、etcd

1.rancher安装

mkdir -p /usr/rancher

docker run -d --privileged --restart=unless-stopped --name rancher -v /usr/rancher/:/var/lib/rancher/ -p 8842:80 -p 8843:443 rancher/rancher:v2.5.10

2.访问rancher

rancher所在主机IP
账号密码：admin/admin

3.部署k8s集群

1.添加集群

2.部署master节点

1.设置主机名

hostnamectl set-hostname master1 

2.选择角色后复制命令到master节点服务器执行

3.根据需求可复以上步骤布置其它master节点

3.部署node节点

1.设置主机名

hostnamectl set-hostname node1 

选择角色后复制命令到master节点服务器执行

3.根据需求可复以上步骤布置其它node节点

4.添加成功

状态为active则添加成功（部署过程大概要10分钟左右，等待部署完成即可）

查看节点

5.错误解决

安装错误清理容器和目录重新安装

docker stop $(docker ps -aq) &
docker system prune -f &
docker volume rm $(docker volume ls -q) &
docker image rm $(docker image ls -q) &
rm -rf /etc/ceph \
       /etc/cni \
       /etc/kubernetes \
       /opt/cni \
       /opt/rke \
       /run/secrets/kubernetes.io \
       /run/calico \
       /run/flannel \
       /var/lib/calico \
       /var/lib/etcd \
       /var/lib/cni \
       /var/lib/kubelet \
       /var/lib/rancher/rke/log \
       /var/log/containers \
       /var/log/pods \
       /var/run/calico \
       /usr/rancher

4.部署nacos

1.数据库准备

创建本地nacos数据库，执行conf文件夹下的 nacos-mysql.sql文件

2.安装nacos服务

设置参数：

镜像地址：

Docker镜像：nacos/nacos-server:latest

配置环境变量：

配置：

MODE=standalone 
SPRING_DATASOURCE_PLATFORM=mysql 
MYSQL_SERVICE_HOST=192.168.8.104
MYSQL_SERVICE_PORT=3306 
MYSQL_SERVICE_USER=root 
MYSQL_SERVICE_PASSWORD=Bairui$AnyChat123
MYSQL_SERVICE_DB_NAME=nacos_test 
JVM_XMX=256m
JVM_XMS=256m

状态为active则成功

3.访问nacos

ip:30848/nacos

5.部署registry私有仓库

1.启动应用商店

2.选择docker-registry应用

3.配置参数并启动

4.启动成功

查看仓库镜像

192.168.8.142:30500/v2/_catalog
192.168.8.142:30500/v2/镜像名/tags/list

在未添加证书的情况下，需要在docker客户端进行以下配才能推送和拉取镜像

vim /etc/docker/daemon.json

加入以下配置：

{ "insecure-registries":["192.168.8.142:30500"] }

重启docker：

systemctl restart docker

192.168.8.142:30500为docker-registry所在服务器的ip和端口

5.持久化

工作负载选择registry升级

配置环境变量

REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY=/var/lib/registry
REGISTRY_STORAGE_DELETE_ENABLED=true

挂载pv券进行持久化（参考步骤7和8）

6.部署docker-registry-web

镜像：

hyper/docker-registry-web

环境变量：

REGISTRY_NAME=192.168.18.142:30500
REGISTRY_READONLY=false
REGISTRY_URL=http://192.168.8.142:30500/v2

6.部署nfs

服务端 ：192.168.15.139

客户端： 192.168.8.142

客户端： 192.168.8.141

1.nfs服务端部署

通过包管理器安装
yum -y install nfs-utils rpcbind

创建用于共享的目录
mkdir /nfs/registry 
chown nfsnobody:nfsnobody /nfs/registry 

编辑共享目录配置文件
vi /etc/exports
/nfs 192.168.8.141/142 192.168.15.56/139(rw,async,no_subtree_check)

使配置文件生效：
exportfs  -r

启动NFS服务，并设置为开机自启动：
systemctl start rpcbind
systemctl enable rpcbind
systemctl start nfs
systemctl enable nfs

查看网络上可用的NFS服务：
showmount -e 192.168.15.139
输出：
Export list for 192.168.15.139:
/nfs/registry 192.168.8.0/142 192.168.15.56/139

配置说明：

/nfs/registry：用于共享的目录
192.168.8.0/142：允许该网段的主机访问。多个网段可以用空格或逗号隔开,*代表所有主机可访问
rw：表示可读写
ro：只读
sync：同步写入内存和硬盘
async：先写入内存

no_root_squash：如果客户端使用root用户连接，则对服务端共享目录拥有root权限
root_squash：如果客户端使用root用户连接，则将其映射为普通用户nfsnobody，默认配置

subtree_check： 验证每个被请求的文件都在导出的目录树中
no_subtree_check： 只验证涉及被导出的文件系统的文件请求

2.nfs客户端部署

客户端挂载NFS文件系统，需要先安装nfs-utils：
yum -y install nfs-utils
挂载：
mkdir /data
mount -t nfs 192.168.15.139:/nfs/registry /data/ -o proto=tcp
查看是否挂载：
df

7.创建PV和PVC(数据卷挂载)

1.添加持久卷pv

选择集群-存储-持久卷-添加pv-设置参数后保存

2.添加持久卷PVC

选择某个集群-项目， PVC-添加PVC，需要填写的内容如下

选择一个当前项目下的命名空间

选择使用现有的PV，并选择刚才创建的PV

PVC创建完成后，就可以被服务使用了

3.部署服务，挂载数据卷

问题：

1.node.kubernetes.io/disk-pressure:NoSchedule

node.kubernetes.io/disk-pressure:NoSchedule
到服务器用df -h 查看，发现磁盘空间不足，清理磁盘空间后解决
df -h 查看磁盘空间
sudo du -h --max-depth=1 寻找当前目录，哪个文件夹占用空间最大

其它

1.registry证书不生效问题
2.nacos集群无法连接，报错503
3.registry本地仓库挂载服务器目录后push失败问题
  err.message="blob unknown to registry"
  排查原因后发现是挂载的目录没有写权限，加权限后解决
4.registry-web无法删除镜像
在docker-registry添加环境变量REGISTRY_STORAGE_DELETE_ENABLED=true后解决
5.配置分离的jar包和配置文件在同一级目录无法映射主机目录
6.部署服务时内存分配策略和限制待了解
7.部分服务通过部署应用商店部署后无法使用
8.主机调度的问题
9.rancher自带prometheus监控使用
10.是否能查到每个pod占用的资源
11.备份和恢复问题
12.服务器重启能否自动恢复（目前测试过node节点服务器重启可以恢复）

13.导入二进制安装的node节点
   rancher只支持导入现在k8s集群，无法导入单个node节点
   通过rancher安装的k8s集群添加二进制安装的node节点
   发现集群ip为容器ip