文章目录

一、部署Master组件

Master节点上操作

1、上传master.zip和k8s-cert.sh到 /opt/k8s 目录中，解压master.zip压缩包

master.zip软件包
k8s-cert.sh脚本文件

cd /opt/k8s

unzip master.zip
chmod +x *.sh

在这里插入图片描述

2、创建kubernetes工作目录

mkdir -p /opt/kubernetes/{cfg,bin,ssl}

在这里插入图片描述

3、创建用于生成CA证书、相关组件的证书和私钥的目录

mkdir /opt/k8s/k8s-cert
mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert
cd /opt/k8s/k8s-cert/

vim k8s-cert.sh
./k8s-cert.sh

ls

在这里插入图片描述

在这里插入图片描述

证书生成脚本文件

vim k8s-cert.sh
#!/bin/bash
#配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

#生成CA证书和私钥（根证书和私钥）
cat > ca-csr.json <<EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
      	    "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -


#-----------------------
#生成 apiserver 的证书和私钥（apiserver和其它k8s组件通信使用）
#hosts中将所有可能作为 apiserver 的 ip 添加进去，后面 keepalived 使用的 VIP 也要加入
cat > apiserver-csr.json <<EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "192.168.111.80",		#master01
      "192.168.111.70",		#master02
      "192.168.111.60",		#vip，后面 keepalived 使用
      "192.168.111.30.",		#load balancer01（master）
      "192.168.111.40",		#load balancer02（backup）
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes apiserver-csr.json | cfssljson -bare apiserver


#-----------------------
#生成 kubectl 的证书和私钥，具有admin权限
cat > admin-csr.json <<EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin


#-----------------------
#生成 kube-proxy 的证书和私钥
cat > kube-proxy-csr.json <<EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

在这里插入图片描述

4、复制CA证书、apiserver相关证书和私钥到kubernetes工作目录的ssl目录中

cp ca*pem apiserver*pem /opt/kubernetes/ssl/

在这里插入图片描述

5、上传 kubernetes-server-linux-amd64.tar.gz到/opt/k8s/目录中，解压 kubernetes压缩包

kubernetes-server软件包

cd /opt/k8s

tar zxvf kubernetes-server-linux-amd64.tar.gz

在这里插入图片描述
在这里插入图片描述

6、复制master组件的关键命令文件到kubernetes工作目录的 bin子目录中，创建链接文件，让系统服务识别

cd /opt/k8s/kubernetes/server/bin/
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/

在这里插入图片描述

7、创建bootstrap token认证文件

head -c 16 /dev/urandom | od -An -t x | tr -d ' '
f9b1ffaf037a57848f167b05a0060201

vim /opt/kubernetes/cfg/token.csv
f9b1ffaf037a57848f167b05a0060201,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

在这里插入图片描述
在这里插入图片描述

8、启动api-server，查看端口服务有没有启动

cd /opt/k8s
./apiserver.sh 192.168.111.80 https://192.168.111.80:2379,https://192.168.111.90:2379,https://192.168.111.100:2379

systemctl status kube-apiserver.service

//k8s通过kube apiserver这 个进程提供服务，该进程运行在单个master节点上。默认有两个端口6443和8080
//安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证
netstat -natp | grep 6443

//本地端口8080用于接收HTTP请求，非认证或授权的HTTP请求通过该端口访问APT Server
netstat -natp | grep 8080

在这里插入图片描述

9、启动scheduler服务

cd /opt/k8s/
./scheduler.sh 127.0.0.1

在这里插入图片描述

10、启动controller-manager服务

cd /opt/k8s/
./controller-manager.sh 127.0.0.1

在这里插入图片描述

11、查看Master节点状态

kubectl get cs

在这里插入图片描述

二、部署node组件

在master节点上操作

1、把kubelet和kube-proxy拷贝到node节点

cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.111.90:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.111.100:/opt/kubernetes/bin/

在这里插入图片描述

在node01节点上操作

2、上传node.zip 到/opt目录中，解压 node.zip压缩包，获得kubelet.sh、proxy.sh

node.zip软件包

cd /opt

unzip node.zip

在这里插入图片描述

在master节点上操作

3、创建用于生成kubelet的配置文件的目录

mkdir /opt/k8s/kubeconfig

在这里插入图片描述

4、上传kubeconfig.sh文件到/opt/k8s / kubeconfig目录中

kubeconfig.sh文件

cd /opt/k8s/kubeconfig

chmod +x kubeconfig.sh

在这里插入图片描述

vim kubeconfig.sh
#!/bin/bash
#example: kubeconfig 192.168.73.188 /opt/k8s/k8s-cert/
#创建bootstrap.kubeconfig文件
#该文件中内置了 token.csv 中用户的 Token，以及 apiserver CA 证书；kubelet 首次启动会加载此文件，使用 apiserver CA 证书建立与 apiserver 的 TLS 通讯，使用其中的用户 Token 作为身份标识向 apiserver 发起 CSR 请求

BOOTSTRAP_TOKEN=$(awk -F ',' '{print $1}' /opt/kubernetes/cfg/token.csv)
APISERVER=$1
SSL_DIR=$2

export KUBE_APISERVER="https://$APISERVER:6443"

# 设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
#--embed-certs=true：表示将ca.pem证书写入到生成的bootstrap.kubeconfig文件中

# 设置客户端认证参数，kubelet 使用 bootstrap token 认证
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig

# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig

# 使用上下文参数生成 bootstrap.kubeconfig 文件
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

#创建kube-proxy.kubeconfig文件
# 设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

# 设置客户端认证参数，kube-proxy 使用 TLS 证书认证
kubectl config set-credentials kube-proxy \
  --client-certificate=$SSL_DIR/kube-proxy.pem \
  --client-key=$SSL_DIR/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

# 使用上下文参数生成 kube-proxy.kubeconfig 文件
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

5、执行kubeconfig.sh文件生成kubelet的配置文件

./kubeconfig.sh 192.168.111.80 /opt/k8s/k8s-cert/

在这里插入图片描述

6、把配置文件bootstrap.kubeconfig和kube-proxy.kubeconfig拷贝到node节点

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.111.90:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.111.100:/opt/kubernetes/cfg/

在这里插入图片描述

7、RBAC授权

  • kubelet采用TLS Bootstrapping 机制，自动完成到kube-apiserver 的注册，在node节点量较大或者后期自动扩容时非常有用。
  • Master apiserver 启用TLS 认证后，node 节点kubelet 组件想要加入集群，必须使用CA签发的有效证书才能与apiserver通信，当node节点很多时，签署证书是一件很繁琐的事情。因此Kubernetes引入了TLS bootstraping机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apiserver 申请证书，kubelet 的证书由 apiserver 动态签署。
  • kubelet首次启动通过加载bootstrap.kubeconfig中的用户Token和apiserver CA证书发起首次CSR请求，这个Token被预先内置在 apiserver 节点的token.csv 中，其身份为kubelet-bootstrap 用户和system:kubelet-bootstrap用户组;想要首次CSR请求能成功(即不会被apiserver 401拒绝)，则需要先创建一个ClusterRoleBinding， 将 kubelet-bootstrap 用户和system:node- bootstrapper内置 ClusterRole 绑定( 通过kubectl get clusterroles 可查询)，使其能够发起CSR认证请求。
  • TLS bootstrapping 时的证书实际是由kube-controller-manager 组件来签署的，也就是说证书有效期是kube-controller-manager组件控制的; kube-controller-manager组件提供了一个--experimental-cluster-signing-duration参数来设置签署的证书有效时间;默认为8760h0m0s， 将其改为87600h0m0s， 即10年后再进行TLS bootstrapping 签署证书即可。
  • 也就是说kubelet 首次访问API Server时，是使用token 做认证，通过后，Controller Manager 会为kubelet生成一个证书，以后的访问都是用证书做认证了。

将预设用户kubelet-bootstrap与内置的ClusterRole system:node-bootstrapper绑定到一起，使其能够发起CSR请求

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

在这里插入图片描述

查看角色信息

kubectl get clusterroles | grep system:node-bootstrapper

在这里插入图片描述
查看已授权的角色

kubectl get clusterrolebinding

在这里插入图片描述

在node01节点上操作

8、使用Kubelet.sh脚本启动kubelet服务

cd /opt	
chmod +x kubelet.sh
./kubelet.sh 192.168.111.90

检查kueblet服务
ps aux | grep kubelet

在这里插入图片描述
在这里插入图片描述

Master01上操作

9、检查到node01节点的kubelet 发起的CSR请求，Pending 表示等待集群给该节点签发证书

kubectl get csr
NAME                                                   AGE   REQUESTOR           CONDITION
node-csr-TM4SIBrsuOvNBdRYXjUzzmoaWLUPMfTPohbj1MCmbB8   9m8s   kubelet-bootstrap   Pending

在这里插入图片描述

10、通过CSR请求

kubectl certificate approve node-csr-TM4SIBrsuOvNBdRYXjUzzmoaWLUPMfTPohbj1MCmbB8

在这里插入图片描述
在这里插入图片描述

11、查看集群节点状态

kubectl get nodes

在这里插入图片描述
在这里插入图片描述

在node1节点上操作

12、自动生成了证书和kubelet.kubeconfig文件

ls /opt/kubernetes/cfg/kubelet.kubeconfig
ls /opt/kubernetes/ssl/

在这里插入图片描述

13、加载 ip_vs 模块

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i > /dev/null 2>&1 && /sbin/modprobe $i;done

在这里插入图片描述
在这里插入图片描述

14、使用proxy.sh脚本启动proxy服务

cd /opt
chmod +x proxy.sh
./proxy.sh 192.168.111.90

systemctl status kube-proxy.service

在这里插入图片描述

15、将node01节点上将kubelet.sh、proxy.sh文件拷贝到node02节点中

scp kubelet.sh proxy.sh root@192.168.111.100:/opt/

在这里插入图片描述

16、在node02节点上开启服务

执行kubelet.sh文件开启服务
在这里插入图片描述
在这里插入图片描述

进行CRS认证通过
在这里插入图片描述
在这里插入图片描述
执行proxy.sh文件开启服务
在这里插入图片描述

17、最终在master上查看集群状态

在这里插入图片描述

总结

  • master

    • 创建工作目录
    • 生成证书
    • 准备k8s软件包
    • 生成 bootstrap token 认证文件
    • 启动 apiserver
    • 启动 controller-manager、scheduler
    • 验证master组件状态

  • node

    • 准备 kubelet kube-proxy 启动，停止等操作 管理 kubelet和kube-proxy 进程用的

    • 在master节点上准备 kubelet和kube-proxy 加入k8s 群集所要使用的 kubeconfig 文件，并传给 nodes 节点
      kubeconfig 加入 k8s 集群需要的 ca证书，tls证书和私有，bootstrap 的 token 信息 ，master的 apiserver IP+端口（6443）

    • node 节点启动 kubelet ， node节点的kubelet会向 master的apiserver 发起 CSR 认证请求
      在 master 节点上 通过 CSR 认证， node 会自动生成 证书 ，以后的node的kubelet访问都会通过这个证书做认证

    • node节点上 加载 ipvs 模块， 启动 kube-proxy

  • k8s集群搭建二进制部署单master节点部署：etcd、flannel、master、node

# kubernetes
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes