1 基础环境

1.1 机器环境

从官方文档可知，安装k8s对操作系统、内存、CPU核数等都有要求：

• 笔者用的是CenOS，所以要用7版本
• 内存要在2GB以上
• CUP核数至少2核

还有：

• DNS最好设置为本地网络连通的DNS，否则可能会出现网络不通，导致无法下载一些镜像
• linux内核必须是 4 版本以上

只是为了演示，三台机器即可，一个master节点，两个node节点。可以在本地搭三台虚拟机，也可以购买云服务器。

1.2 环境初始化

1）给每台机器分别设置主机名

hostnamectl set-hostname master
hostnamectl set-hostname node01 
hostnamectl set-hostname node02 

查看主机名命令

 hostname

配置IP host映射关系，每台机器都要执行以下命令

vi /etc/hosts 
192.168.75.10 master
192.168.75.11 node01 
192.168.75.12 node02 

2）安装依赖环境，每台机器都需要安装此依赖环境

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridge- utils unzip bind-utils gcc

3）安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则
关闭防火墙

systemctl stop firewalld && systemctl disable firewalld

置空iptables规则

yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

4）关闭selinux
关闭swap分区【虚拟内存】并且永久关闭虚拟内存

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

关闭selinux

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config 

5）升级Linux内核为4.44版本

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm

安装内核

yum --enablerepo=elrepo-kernel install -y kernel-lt 

设置开机从新内核启动

grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)' 

注意：设置完内核后，需要重启服务器才会生效。
查询内核

uname -r

6）在到/etc/sysctl.d/下创建k8s配置文件，调整内核参数

cat > kubernetes.conf <<EOF 
net.bridge.bridge-nf-call-iptables=1 //开启网桥模式
net.bridge.bridge-nf-call-ip6tables=1 
net.ipv4.ip_forward=1 
net.ipv4.tcp_tw_recycle=0 
vm.swappiness=0 //禁止使用内存交换
vm.overcommit_memory=1 //不检查物理内存
vm.panic_on_oom=0 //开启oom
fs.inotify.max_user_instances=8192 //最大用户实例
fs.inotify.max_user_watches=1048576 //最大监听数量
fs.file-max=52706963 //文件数量
fs.nr_open=52706963 //文件打开数量
net.ipv6.conf.all.disable_ipv6=1 
net.netfilter.nf_conntrack_max=2310720 
EOF  

手动刷新，让优化文件立即生效

sysctl -p /etc/sysctl.d/kubernetes.conf

7）调整系统临时区，设置系统时区为中国/上海

timedatectl set-timezone Asia/Shanghai 

将当前的 UTC 时间写入硬件时钟

timedatectl set-local-rtc 0

重启依赖于系统时间的服务

systemctl restart rsyslog systemctl restart crond

8）关闭系统不需要的服务

systemctl stop postfix && systemctl disable postfix

9）设置日志保存方式
创建保存日志的目录

mkdir /var/log/journal 

创建配置文件存放目录

mkdir /etc/systemd/journald.conf.d

创建配置文件

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF 
[Journal] 
Storage=persistent //持久化存储
Compress=yes //日志文件是否需要压缩
SyncIntervalSec=5m //同步时间间隔
RateLimitInterval=30s //频率限制
RateLimitBurst=1000 
SystemMaxUse=10G 
SystemMaxFileSize=200M 
MaxRetentionSec=2week 
ForwardToSyslog=no 
EOF 

重启systemd journald的配置

systemctl restart systemd-journald

10）kube-proxy 开启 ipvs 前置条件

modprobe br_netfilter 
#################################################
cat > /etc/sysconfig/modules/ipvs.modules <<EOF 
#!/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack_ipv4 
EOF

给ipvs.modules赋执行权限，使用lsmod命令查看这些文件是否被引导

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.3 docker部署

1）安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2 

紧接着配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

更新Yum安装的相关Docke软件包和安装Docker CE

yum update -y && yum install docker-ce

2）设置docker daemon文件
创建/etc/docker目录

mkdir /etc/docker 

更新daemon.json文件

cat > /etc/docker/daemon.json <<EOF 
{"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"}} EOF 

创建，存储docker配置文件

mkdir -p /etc/systemd/system/docker.service.d 

3）重启docker服务

 systemctl daemon-reload && systemctl restart docker && systemctl enable docker

systemctl daemon-reload //刷新daemon.json文件
systemctl restart docker启动docker
systemctl enable docker 设置开机自启动
注

在设置daemon.json时不小心加了一个空格导致的异常

1.4 使用kubeadm插件安装k8s

1）安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是 packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像。

cat <<EOF > /etc/yum.repos.d/kubernetes.repo 
[kubernetes] 
name=Kubernetes 
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 
enabled=1 
gpgcheck=0 
repo_gpgcheck=0 
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg 
EOF 

2）安装kubeadm、kubelet、kubectl

yum install -y kubeadm-1.15.1 kubelet-1.15.1 kubectl-1.15.1

启动 kubelet，并设置开机自启动

systemctl enable kubelet && systemctl start kubelet

2 集群安装

2.1 依赖环境

可以通过kubeadm config images list命令查看k8s需要的基础镜像。建议手动下载好后再上传，因为这些镜像都在外网环境，直接下载可能会出现由网络原因导致的一些问题。

镜像文件下载好后需要导入的docker镜像仓库里，这里写了一个脚本进行批量导入

#!/bin/bash 
#将文件名放入到一个临时文件里 
ls /root/kubeadm-basic.images > /tmp/images-list.txt 
#切换到下载的镜像文件的文件夹下
cd /root/kubeadm-basic.images 
#遍历镜像文件名
for i in $(cat /tmp/images-list.txt) 
do 
	#加载到docker镜像仓库
	docker load -i $i 
done
	#删除临时文件
	rm -rf /tmp/images-list.txt

修改脚本文件的权限为可执行权限

chmod 755 image-load.sh

执行脚本文件，导入镜像

./image-load.sh

将文件及镜像传输到其他node节点 、

scp -r image-load.sh kubeadm-basic.images root@node01:/root/ 
scp -r image-load.sh kubeadm-basic.images root@node02:/root/ 

#node节点依次执行sh脚本即可导入镜像
通过docker images可查看导入的镜像

2.2 k8s部署

初始化master节点
加载yaml资源配置文件

kubeadm config print init-defaults > kubeadm-config.yaml

修改yaml资源文件

localAPIEndpoint: 
	advertiseAddress: 192.168.75.10 # IP地址改为master节点的地址
kubernetesVersion: v1.15.1 #修改版本号，必须和kubectl版本保持一致 
networking: 
	#指定flannel模型通信，pod网段地址,此网段和flannel网段一致 
	podSubnet: "10.244.0.0/16" 
	serviceSubnet: "10.96.0.0/12" 
--- 
#指定使用ipvs网络进行通信 
apiVersion: kubeproxy.config.k8s.io/v1alpha1 
kind: kubeProxyConfiguration 
featureGates: 
	SupportIPVSProxyMode: true 
mode: ipvs

初始化主节点，开始部署

kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log 

k8s的master节点初始化成功后如下图所示：

根据上面的提示还需要完成以下命令：

#创建目录，保存连接配置缓存，认证文件
mkdir -p $HOME/.kube
#拷贝集群管理配置文件
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#给配置文件授权
chown $(id -u):$(id -g) $HOME/.kube/config

可通过kubectl get node命令查看节点状态

2.3 flannel网络插件

在master节点部署flannel网络插件
下载flannel网络插件

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

部署flannel

kubectl create -f kube-flannel.yml 

用下面命令也可以部署

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

网络插件安装完成后，需要将node节点加入到集群环境当中

上面的命令是初始化k8s成功后给的提示，在kubeadm-init.log日志文件里可以查看到，在每个node节点执行下这个命令即可。

注
kube-flannel.yml里的镜像需要替换为国内的镜像，否则会出现如下错误

这是因为镜像没有下载下来，可以通过下面命令查看pod的详细信息

kubectl describe pod kube-flannel-ds-amd64-fs2c9 -n kube-system

起初用的是七牛的镜像（quay-mirror.qiniu.com），后来ping了一下发现这个域名不能用了，于是改了中科大的（quay.mirrors.ustc.edu.cn）。执行一下下面的命令刷新kube-flannel.yml

kubectl apply -f kube-flannel.yml

此时flannel就变成了Running状态。

到此k8s的集群环境就搭建完成了。