一、环境准备

1、机器环境

节点CPU核数必须是∶>=2核，否则k8s无法启动。

DNS网络∶最好设置为本地网络连通的DNS,否则网络不通，无法下载一些镜像

linux内核:linux内核必须是4版本以上，因此必须把linlix核心进行升级

准备3台虚拟机环境，或者是3台阿里云服务器都可。

k8s-master01:(192.168.23.30)此机器用来安装k8s-master的操作环境

k8s-node01:(192.168.23.31)此机器用来安装k8s node节点的环境

k8s-node02:(192.168.23.32)此机器用来安装k8s node节点的环境

 

2、依赖环境

#1、给每一台机器设置主机名
hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamect1 set-hostname k8s-node02
#查看主机名
hostname
#配置Ip host映射关系
vi /etc/hosts
192.168.23.30 k8s-master01
192.168.23.31 k8s-node01
192.168.23.32 k8s-node02

#2、安装依赖环境，注意:每一台机器都需要安装此依赖环境
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge-utils unzip bind-utils gcc

#3、安装iptables,启动iptables,设置开机自启，清空iptables规则，保存当前规则到默认规则
#关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
#置空iptables
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

#4、关闭selinux
#关闭swap分区[虚拟内存]并且永久关闭虚拟内存
swapoff -a && sed -i '/ swap / s/^\(. *\)$/#\1/g' /etc/fstab
#关闭selinux
setenforce 0 && sed -i 's/^SELINUX=. */SEL INUX=disabled/' /etc/selinux/config

#5、升级Linux内核为4. 44版本
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
#安装内核
yum --enablerepo=elrepo-kernel install -y kernel-lt
#设置开机从新内核启动
grub2-set-default 'Centos Linux (4. 4.189-1.e17.e1repo.x86_ 64) 7 (Core)'
#注意:设置完内核后，需要重启服务器才会生效。
#查询内核
uname -r
#重启
reboot


#6、调整内核参数，对于k8s 
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max__user_instances=8192
fs.inotify.max__user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用 
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#手动刷新，让优化文件立即生效，报错可忽略
sysctl -p /etc/sysctl.d/kubernetes.conf

#7、调整系统临时区---如果已经设嚣时区，可略过
#设置系统时区为中国/上海
timedatectl set-timezone Asia/Shanghai
#将当前的UTC时间与入硬件时钟 
timedatectl set-local-rtc 0
#重启依赖于系统时间的服务 
systemctl restart rsyslog
systemctl restart crond

#7、关闭系统不需要的服务
systemctl stop postfix && systemctl disable postfix

#8、设置日志保存方式
#1）创建保存日志的目录
mkdir /var/log/journal
#2）创建配置文件存放目录
mkdir /etc/systemd/journald.conf.d
#3）创建配置文件
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
storage=persistent
Compress=yes
syncIntervalsec=5m
RateLimitInterval=30s
RatelimitBurst=1000
SystemMaxUse=10G
SystemMaxFilesize=200M
MaxRetentionsec=2week
ForwardTosyslog=no
EOF

#4）.重启systemd journald的配蓄
systemctl restart systemd-journald

#9、打开文件数调整（可忽略，不执行)
echo "* soft nofile 65536" >>/etc/security/limits.conf
echo "* hard nofile 65536" >>/etc/security/limits.conf

10、kube-proxy开启ipvs前置条件
modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

##使用lsmod命令查看这些文件是否被引导
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

 

3、docker部署

#1、安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2
#紧接着配置一个稳定（stable〉的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.r epo文件中 
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#更新Yum安装的相关Docke软件包&安装Docker-ce
yum update -y && yum install docker-ce

#2、设置docker daemon文件
#创建/etc/docker目录
mkdir /etc/docker
#更新daemon.json文件
cat > /etc/docker/daemon.json <<EOF
{"exec-opts":["native.cgroupdriver=systemd""],"log-driver": "json-file","log-opts":{ "max-size":"100m"}}
EOF
#注意:一定注意编码问题，出现错误:查看命令：journalctl -amu docker 即可发现错误
#创建，存储docker配置文件
mkdir -p /etc/systemd/system/docker.service.d

#3、重启docker服务&&开启自启动
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

#4、由于使用DockerHub，拉取镜像较慢，推荐使用阿里云或网易云镜像，这里使用的是阿里云镜像
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
 "registry-mirrors": ["https://km2dy41r.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

4、kubeadm[一键安装k8s很多软件，无需一个一个安装，比如etcd]

#1、安装kubernetes的时候，需要安装kubelet，kubeadm等包，但k8s官网给的yum源是 packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像。
cat >/etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#2、安装kubeadm、kubelet、kubect1
yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubect1-1.15.1
#启动kubelet并且开机启动
systemctl enable kubelet && systemctl start kubelet

#3、校验是否安装成功
kubectl --help

二、集群安装

资源下载

后面用到的资源：docker-compose、harbor-offline-installer-v1.2.0.tgz、kubeadm-basic.images.tar.gz、kube-flannel.yml、flanneld-v0.12.0-amd64.docker，我已经上传至百度云盘，有需要的朋友可以去下载。地址：
链接: https://pan.baidu.com/s/1mH814rCJYPTcfVUtsXRjrQ  提取码: n2t3

1、依赖镜像

上传《kubeadm-basic.images.tar.gz》镜像压缩包到 k8s-master01，把压缩包中的镜像导入到本地镜像仓库。

# kubeadm初始化k8s集群的时候，会从gce Google云中下载(pu11）相应的镜像，且镜像相对比较大，下载比较慢，且需要解决科学上网的一个问题，国内上goole，懂得.
#1、编写批量 导入镜像脚本代码《在任意目录下创建sh脚本文件:image-load.sh)
sudo tee ~/image-load.sh <<-'EOF'
#!/bin/bash
#注意镜像解压的目录位置T
ls /root/kubeadm-basic.images > /tmp/images-list.txt
cd /root/kubeadm-basic.images
for i in $(cat /tmp/images-list.txt)
do
docker load -i $i
done
rm -rf /tmp/images-list.txt
EOF


#2、修改权限，可执行权限 

chmod 755 ~/image-load.sh


#3、开始执行，镜像导入
sh ~/image-load.sh

#4、传输文件及镜像到其他node节点
cd ~
#拷贝到node01节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node01:/root/ 
#拷贝到node02节点
scp -r image-load.sh kubeadm-basic.images root@k8s-node02:/root/
#其他节点依次执行sh脚本，导入镜像

导入成功本地仓库后，如下图所示：

 

 2、k8s部署

#初始化主节点---只需要在主节点执行

#1、拉取yaml资源配置文件
kubeadm config print init-defaults > kubeadm-config.yaml
#2、修改yaml资源文件

localAPIEndpoint:
	advertiseAddress: 192.168.23.30 #修改。注意:修改配置文件的IP地址
kubernetesVersion: v1.15.1 #修改。注意:修改版本号，必须和kubectl版本保持一致
networking:
	#指定flannel模型通信pod网段地址,此网段和flannel网段一致
	podSubnet: "10.244.0.0/16" # 新增。此网段不能更改
	serviceSubnet: "10.96.0.0/12"
#以下内容在末尾处新增。指定使用ipvs网络进行通信
---
apiversion: kubeproxy.config.k8s.io/v1alpha1
kind: kubeProxyconfiguration
featureGates:
	SupportIPVSProxyMode: true
mode: ipvs

#3、初始化主节点，开始部署
kubeadm init --config=/root/kubeadm-config.yaml --experimental-upload-certs | tee /root/kubeadm-init.log
#注意:执行此命令，CPU核心数量必须大于1核，否则无法执行成功

我们发现已经可以成功查询node节点信息了，但是节点的状态却是NotReady,不是Runing的状态。原因是此时我们使用ipvs+flannel的方式进行网络通信，但是flannel网络插件还没有部署，因此节点状态此时为NotReady。

3、flannel插件

#部署flannel网络插件---只需要在主节点执行

#方式一（手动上传固定的yaml文件和flannel docker文件，建议）：
# 上传之前百度网盘下载的kube-flannel.yml文件和flanneld-v0.12.0-amd64.docker文件。
docker load < flanneld-v0.12.0-amd64.docker
kubectl create -f kube-flannel.yml
#检测系统pod是否都启动完成，如果存在失败的，尝试kubectl delete pod --all -n kube-system重启解决
kubectl get pod -n kube-system


#方式二（通过网络下载最新yaml文件，不可控因素太多，不建议）：

#1、下载flannel网络插件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

#2、修改下载的kube-flannel.yml文件中的quay.io为quay-mirror.qiniu.com

#3、部署flannel
kubectl create -f kube-flannel.yml

#方式三，也可进行部署网络。效果同 方式二 
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

4、节点join

在k8s-node01和k8s-node02节点上执行：

kubeadm join 192.168.23.30:6443 --token abcdef.0123456789abcdef --discovery-token-ca-cert-hash sha256:3d9cada63cd8ca6af95f1736e2738994a767f26e626b2f3bd5687a8479185671

即可加入k8s集群中。

到此，k8s集群搭建完成。

其他指令

过程使用到的命令，未出现的：

• kubectl logs kube-flannel-ds-djr26 -n kube-system  #查询pod=kube-flannel-ds-djr26的报错日志

• kubectl --help 查看所有指令

参考文档

1. docker.io、gcr.io、quay.io 国内镜像

2. quay.io国内无法访问，解决Kubernetes应用flannel失败，报错Init:ImagePullBackOff