机器准备

准备三台机器

  • k8s-master: 此机器用来安装k8s-master的操作环境

  • k8s-node01: 此机器用来安装k8s node节点的环境

  • k8s-node02: 此机器用来安装k8s node节点的环境

    使用虚拟机搭建，可以使用如下方式固定虚拟机ip：

    #修改网卡信息，修改内容如下
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-网卡名

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" #修改为静态
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="7904fbea-1e28-4f8a-9a54-e11572fdc076"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.71.20  #修改为需要固定的ip地址
NETMASK=255.255.255.0
GATEWAY=192.168.71.1  #虚拟机对应的网关ip
DNS1=61.139.2.69
DNS2=202.98.96.68

#重启网卡服务
[root@localhost ~]# service network restart 
#或者是使用
[root@localhost ~]# systemctl restart network.service

安装依赖环境

  1. 给机器设置主机名

    #三台机器分别设置
[root@localhost ~]# hostnamectl set-hostname k8s-master
[root@localhost ~]# hostnamectl set-hostname k8s-node1
[root@localhost ~]# hostnamectl set-hostname k8s-node2
#查看主机名
[root@localhost ~]# hostname

#配置ip-host映射关系,三台都要配置
[root@localhost ~]# vi /etc/hosts
192.168.71.20 k8s-master
192.168.71.21 k8s-node1
192.168.71.22 k8s-node2

  2. 安装依赖环境

    [root@localhost ~]# yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git iproute lrzsz bash-completion tree bridgeutils unzip bind-utils gcc

  3. 安装iptables，启动iptables，设置开机自启，清空iptables规则，保存当前规则到默认规则

    #关闭防火墙
[root@localhost ~]# systemctl stop firewalld && systemctl disable firewalld
#置空iptables
[root@localhost ~]# yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

  4. 关闭selinux

    #关闭swap分区【虚拟内存】并且永久关闭虚拟内存
[root@localhost ~]# swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
#关闭selinux
[root@localhost ~]# setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

  5. 升级Linux内核为4.44版本

    [root@localhost ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
#安装内核
[root@localhost ~]# yum --enablerepo=elrepo-kernel install -y kernel-lt
#设置开机从新内核启动
[root@localhost ~]# grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
#重启电脑
[root@localhost ~]# reboot
#查看内核
[root@localhost ~]# uname -r

  6. 调整内核参数，对于k8s

    [root@localhost ~]# cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
#将优化内核文件拷贝到/etc/sysctl.d/文件夹下，这样优化文件开机的时候能够被调用
[root@localhost ~]# cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#手动刷新，让优化文件立即生效
[root@localhost ~]# sysctl -p /etc/sysctl.d/kubernetes.conf

  7. 关闭系统不需要的服务

    [root@localhost ~]# systemctl stop postfix && systemctl disable postfix

  8. 设置日志保存方式

    #创建保存日志的目录
[root@localhost ~]# mkdir /var/log/journal
#创建配置文件存放目录
[root@localhost ~]# mkdir /etc/systemd/journald.conf.d
#创建配置文件
[root@localhost ~]# cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
Storage=persistent
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
SystemMaxUse=10G
SystemMaxFileSize=200M
MaxRetentionSec=2week
ForwardToSyslog=no
EOF
#重启systemd journald的配置
[root@localhost ~]# systemctl restart systemd-journald

  9. kube-proxy 开启 ipvs 前置条件

    [root@localhost ~]# modprobe br_netfilter
[root@localhost ~]# cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
[root@localhost ~]# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

docker安装

  1. 安装docker

    [root@localhost ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
#紧接着配置一个稳定（stable）的仓库、仓库配置会保存到/etc/yum.repos.d/docker-ce.repo文件中
#设置阿里云镜像安装
[root@localhost ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#更新Yum安装的相关Docke软件包&安装Docker CE
[root@localhost ~]# yum update -y && yum install docker-ce

  2. 设置docker daemon文件

    [root@localhost ~]# mkdir /etc/docker
#注意： 一定注意编码问题，出现错误：查看命令：journalctl -amu docker 即可发现错误
[root@localhost ~]# cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}
EOF
#创建，存储docker配置文件
[root@localhost ~]# mkdir -p /etc/systemd/system/docker.service.d

  3. 重启docker服务

    [root@localhost ~]# systemctl daemon-reload && systemctl restart docker && systemctl enable docker
#如果启动失败使用该命令查看错误信息
[root@localhost ~]# systemctl status docker.service

kubeadm[一键安装k8s]

  1. 安装kubernetes的时候，需要安装kubelet, kubeadm等包，但k8s官网给的yum源是 packages.cloud.google.com，国内访问不了，此时我们可以使用阿里云的yum仓库镜像

    [root@localhost ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

  2. 安装kubeadm、kubelet、kubectl

[root@localhost ~]# yum install -y kubeadm kubelet kubectl
#启动 kubelet
[root@localhost ~]# systemctl enable kubelet && systemctl start kubelet

集群安装

初始化主节点 — 只需要在主节点执行

#1、拉去yaml资源配置文件 
[root@localhost ~]# kubeadm config print init-defaults > kubeadm-config.yaml 

#2、修改yaml资源文件 
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.19.3  #k8s版本
imageRepository: registry.aliyuncs.com/k8sxio
controlPlaneEndpoint: "192.168.71.20:6443"  #master节点ip
networking:
  serviceSubnet: "10.96.0.0/16"
  podSubnet: "10.100.0.1/16"  #容器组所在的网段
  dnsDomain: "cluster.local"

**注意：**因网络问题，k8s组件的镜像都是无法直接从网络下载的。解决方案有两种（解决了镜像问题后再执行初始化主节点命令）：

1、从阿里云镜像仓库下载对应镜像，然后重命名

#下载镜像
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
[root@localhost ~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0

#镜像重命名

[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3 k8s.gcr.io/kube-apiserver:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3 k8s.gcr.io/kube-controller-manager:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3 k8s.gcr.io/kube-scheduler:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3 k8s.gcr.io/kube-proxy:v1.19.3
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2 k8s.gcr.io/pause:3.2
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0 k8s.gcr.io/etcd:3.4.13-0
[root@localhost ~]# docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0 k8s.gcr.io/coredns:1.7.0

#删除原镜像
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.19.3
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.2
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
[root@localhost ~]# docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.7.0

2、下载镜像打包文件，然后加载成本地镜像，下载地址：链接：https://pan.baidu.com/s/1Ixy5OMBaWLDqeuLyXvXBtA
提取码：05nm

#将下载的文件上传到k8s服务器，然后解压
[root@localhost ~]# tar -zxvf kube-images.tar.gz
#切换到解压后的目录
[root@localhost ~]# cd kube-images/
#依次加载成本地镜像
[root@localhost ~]# docker load -i 文件名

初始化主节点

#开始部署 
[root@localhost ~]# kubeadm init --config=kubeadm-config.yaml --upload-certs | tee kubeadm-init.log 
#注意：执行此命令，CPU核心数量必须大于1核，否则无法执行成功

执行成功截图

#4、初始化成功后执行如下命令
#创建目录，保存连接配置缓存，认证文件
[root@localhost ~]# mkdir -p $HOME/.kube
#拷贝集群管理配置文件
[root@localhost ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
#授权给配置文件
[root@localhost ~]# chown $(id -u):$(id -g) $HOME/.kube/config

安装网络插件calico和flannel二选一

calico插件安装

#下载calico的k8s编程yaml文件
[root@localhost ~]# wget https://kuboard.cn/install-script/calico/calico-3.13.1.yaml
#使用文件安装calico
[root@localhost ~]# kubectl apply -f calico-3.13.1.yaml
#查询一个pod的详细信息
[root@localhost ~]# kubectl describe pod podid

flannel插件安装

因为网络限制原因，提前下载好需要的文件：本地镜像文件flannel.tar。安装文件kube-flannel.yml

链接：https://pan.baidu.com/s/1bXi0KF7Vc3_oqEp8LhUuWw
提取码：twnf

#1、将下载好的文件上传到主节点
#2、将文件flannel.tar加载到本地镜像
[root@localhost ~]# docker load -i flannel.tar
#2、部署flannel
[root@localhost ~]# kubectl create -f kube-flannel.yml

节点Join

# 加入主节点以及其余工作节点，执行安装日志中的命令即可
#如果主节点安装完成后没有记录加入命令，可以查看日志文件获得
[root@localhost ~]# cat kubeadm-init.log
# 复制该命令到其他几个node节点进行执行即可
[root@localhost ~]# kubeadm join 192.168.71.20:6443 --token 05rnzs.00igm20vowkks9t3 \
    --discovery-token-ca-cert-hash sha256:3a6559bf79365ae1660325fedb48e6f9f440d7ab9e5d820818cc059f5b5a0dac
# 查询工作空间中pod容器的详细信息
[root@localhost ~]# kubectl get pod -n kube-system -o wide

欢迎关注微信公众号：菜鸟工厂

# kubernetes # k8s
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes