2024年k8s学习 — （实践）第二章 搭建k8s集群，Golang编程基础教程
访问nginx服务时，注意对外的端口不是80，而是31906，完整地址：192.168.3.241:31906，通过node1、node2的IP加端口也可以访问到。这里将1.2.3 中 安装的Docker的步骤先放到了1.2.1 安装Docker（所有节点），这个不影响整体的步骤。利用 k8s 官方 github 仓库下载二进制包安装，安装过程较复杂，但相对较为稳定，推荐生产环境使用。可以查看Ca
·
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
- 操作系统：CentOS 7
- Docker：20+
- k8s：1.23.6
安装步骤
1.2.0 提示（步骤调整）
这里将1.2.3 中 安装的Docker的步骤先放到了1.2.1 安装Docker（所有节点），这个不影响整体的步骤。
1.2.1 安装Docker（所有节点）
安装 Docker：Centos7安装docker
1.2.2 初始操作（所有节点）
# 关闭防火墙
systemctl stop firewalld
# 禁用防火墙
systemctl disable firewalld
# 关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久
# 或
setenforce 0 # 临时
# 关闭swap
sed -ri 's/.\*swap.\*/#&/' /etc/fstab # 永久
# 或
swapoff -a # 临时
# 关闭完swap后，一定要重启一下虚拟机！！！
# 根据规划重新设置各节点的主机名，设置完后记得重启虚拟机！！！
hostnamectl set-hostname <hostname>（k8s-master、k8s-node1、k8s-node2）
# 在各个节点的hosts加入配置后的主机名
cat >> /etc/hosts << EOF
192.168.3.241 k8s-master
192.168.3.242 k8s-node1
192.168.3.243 k8s-node2
EOF
# 将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system # 生效
# 时间同步
yum install ntpdate -y
ntpdate time.windows.com
1.2.3 安装基础软件 kubeadm、kubelet、kubectl（所有节点）
- 添加阿里云 yum 源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86\_64
enabled=1
gpgcheck=0
repo\_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
- 安装 kubeadm、kubelet、kubectl
yum install -y kubelet-1.23.6 kubeadm-1.23.6 kubectl-1.23.6
systemctl enable kubelet
配置关闭 Docker 的 cgroups，修改 /etc/docker/daemon.json：
# 加入以下内容
"exec-opts": ["native.cgroupdriver=systemd"]
完整配置：
{
"registry-mirrors": ["https://almtd3fa.mirror.aliyuncs.com","http://hub-mirror.c.163.com","http://mirrors.ustc.edu.cn"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
# 使配置生效
systemctl daemon-reload
# 重启docker
systemctl restart docker
1.2.4 部署 Kubernetes Master（在 Master 节点下执行）
kubeadm init \
--apiserver-advertise-address=192.168.3.241 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.6 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
可能耗时有一点长，看网络情况，如下显示则安装成功：
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.3.241:6443 --token f9v1xg.4vqoarsfo0zfrhge \
--discovery-token-ca-cert-hash sha256:54795fb6e9ee1ae628549bf9ae2fad9245aa5b25f62dd3e6af8995cdc4e5b69f
注意最后有生成token的命令，这个在下一步会用到。
# 安装成功后，复制如下配置并执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 查看节点情况
kubectl get nodes
# 显示结果
[root@k8s-master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master NotReady control-plane,master 12m v1.23.6
1.2.5 加入 Kubernetes Node（分别在 k8s-node1 和 k8s-node2 执行）
# 下方命令可以在 k8s master 控制台初始化成功后复制 join 命令
kubeadm join 192.168.3.241:6443 --token f9v1xg.4vqoarsfo0zfrhge \
--discovery-token-ca-cert-hash sha256:54795fb6e9ee1ae628549bf9ae2fad9245aa5b25f62dd3e6af8995cdc4e5b69f
# 结果：
This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.
Run 'kubectl get nodes' on the control-plane to see this node join the cluster.
在master节点查看集群情况：
kubectl get nodes
[root@k8s-master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master NotReady control-plane,master 51m v1.23.6
k8s-node1 NotReady <none> 48m v1.23.6
k8s-node2 NotReady <none> 48m v1.23.6
重新生成token：
# 如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请
# 如果 token 已经过期，就重新申请
kubeadm token create
# token 没有过期可以通过如下命令获取
kubeadm token list
# 获取 --discovery-token-ca-cert-hash 值，得到值后需要在前面拼接上 sha256:
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.\* //'
1.2.6 部署 CNI 网络插件
1.2.6.1 下载相关镜像（所有节点）
- 创建相关目录
# 在/opt/下创建k8s，即：/opt/k8s/
- （可跳过）选择 calico 配置文件（calico.yaml）下载地址
地址1：https://docs.projectcalico.org/manifests/calico.yaml
可在浏览器上访问地址1，如果地址1无法访问，访问：https://docs.projectcalico.org，会发现地址会跳转到
https://docs.tigera.io，然后点击Calico Open Source，进入：图2所示页面，继续点击 All versions 可以查看Calico的版本情况（图3），根据需要选择对应版本。
地址2：https://docs.tigera.io/archive/{version}/manifests/calico.yaml，注意要把{version}替换为对应的版本，例如：https://docs.projectcalico.org/v3.25/manifests/calico.yaml、https://docs.tigera.io/archive/v3.24/manifests/calico.yaml
- 下载 calico 配置文件（calico.yaml）
# 在/opt/k8s/路径下面下载 calico 配置文件（calico.yaml），可能会网络超时
wget https://docs.projectcalico.org/v3.25/manifests/calico.yaml --no-check-certificate
- （可跳过）修改下载的 calico.yaml
# 修改下载的 calico.yaml 文件中的 CALICO\_IPV4POOL\_CIDR 配置。
# 如果 CALICO\_IPV4POOL\_CIDR 是注释掉的，也就是没有启用的，可以不修改。
# 如果要启用，先把前面的注释去掉，然后修改为与初始化时，--pod-network-cidr=10.244.0.0/16中的相同，即改为：
- name: CALICO_IPV4POOL_CIDR
value: "10.244.0.0/16"
# 修改 IP\_AUTODETECTION\_METHOD 下的网卡名称，没有该配置则不用修改
- 去除下载地址的
docker.io/前缀
# 查看有docker.io/前缀的地址
grep image calico.yaml
[root@k8s-master k8s]# grep image calico.yaml
image: docker.io/calico/cni:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/cni:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/node:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/node:v3.25.0
imagePullPolicy: IfNotPresent
image: docker.io/calico/kube-controllers:v3.25.0
imagePullPolicy: IfNotPresent
# 删除镜像 docker.io/ 前缀，避免下载过慢导致失败，命令如下：
sed -i 's#docker.io/##g' calico.yaml
- 在master、node1、node2节点下载好相关镜像，以免影响构建进度或导致构建失败
# 如果构建时下载镜像比较慢，可使用docker单独下载镜像后重新构建
docker pull calico/cni:v3.25.0
docker pull calico/node:v3.25.0
docker pull calico/kube-controllers:v3.25.0
1.2.6.2 根据 calico.yaml 构建应用（在 master 节点上执行）
# 在/opt/k8s/执行构建命令
kubectl apply -f calico.yaml
# 查看应用信息
kubectl get po -n kube-system
[root@k8s-master k8s]# kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
calico-kube-controllers-cd8566cf-sn2fz 1/1 Running 0 3m37s
calico-node-7h4nl 1/1 Running 0 3m37s
calico-node-b5wkj 1/1 Running 0 3m37s
calico-node-kpmr8 1/1 Running 0 3m37s
coredns-6d8c4cb4d-rr77x 1/1 Running 0 26m
coredns-6d8c4cb4d-wt8pf 1/1 Running 0 26m
etcd-k8s-master 1/1 Running 1 (20m ago) 26m
kube-apiserver-k8s-master 1/1 Running 1 (20m ago) 26m
kube-controller-manager-k8s-master 1/1 Running 1 (20m ago) 26m
kube-proxy-msxz4 1/1 Running 2 (5m16s ago) 21m
kube-proxy-w96nz 1/1 Running 1 (20m ago) 26m
kube-proxy-zq98q 1/1 Running 2 (5m10s ago) 21m
kube-scheduler-k8s-master 1/1 Running 1 (20m ago) 26m
# 查看某个Pod的运行情况
kubectl describe po calico-node-7h4nl（Pod名称） -n kube-system
# 查看集群信息
kubectl get nodes
[root@k8s-master k8s]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master Ready control-plane,master 27m v1.23.6
k8s-node1 Ready <none> 22m v1.23.6
k8s-node2 Ready <none> 21m v1.23.6
1.2.7 测试 kubernetes 集群（master节点）
# 部署nginx
kubectl create deployment nginx --image=nginx
[root@k8s-master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
# 暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort
[root@k8s-master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
# 查看 pod 以及服务信息
kubectl get pod,svc
[root@k8s-master k8s]# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-p5r5z 0/1 ContainerCreating 0 15s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 29m
service/nginx NodePort 10.111.11.157 <none> 80:31906/TCP 8s
这里可以发现pod/nginx-85b98978db-p5r5z的状态是容器创建中，可通过如下命令进一步查看原因（镜像拉取中）：
kubectl describe pod nginx-85b98978db-p5r5z
# 在最下面的事件中，可以看到是在拉取nginx镜像中
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 63s default-scheduler Successfully assigned default/nginx-85b98978db-p5r5z to k8s-node2
Normal Pulling 63s kubelet Pulling image "nginx"
可以稍等一会儿查看 pod 以及服务信息，因为k8s会有相关机制保证服务的运行，所以不用再重新下载nginx镜像部署：
# 查看 pod 以及服务信息
kubectl get pod,svc
[root@k8s-master k8s]# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-p5r5z 1/1 Running 0 29m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 58m
service/nginx NodePort 10.111.11.157 <none> 80:31906/TCP 29m
访问nginx服务时，注意对外的端口不是80，而是31906，完整地址：192.168.3.241:31906，通过node1、node2的IP加端口也可以访问到。
1.3 二进制安装
利用 k8s 官方 github 仓库下载二进制包安装，安装过程较复杂，但相对较为稳定，推荐生产环境使用。
1.4 命令行工具
2 命令行工具 kubectl 相关命令
Kubernetes 提供 kubectl 是使用 Kubernetes API 与 Kubernetes 集群的 控制面 进行通信的命令行工具。
这个工具叫做 kubectl。更多官方命令
2.1 在任意节点使用 kubectl
- 在master节点进行拷贝操作
# 将 master 节点中 /etc/kubernetes/admin.conf 拷贝到需要运行的服务器的 /etc/kubernetes 目录中
# 拷贝到k8s-node1
scp /etc/kubernetes/admin.conf root@k8s-node1:/etc/kubernetes
# 拷贝到k8s-node2
scp /etc/kubernetes/admin.conf root@k8s-node2:/etc/kubernetes
- 在node1、node2节点配置环境变量
# 在对应的服务器上配置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
# 刷新配置
source ~/.bash_profile
- node1节点完整操作
[root@k8s-node1 ~]# kubectl get pod,svc
The connection to the server localhost:8080 was refused - did you specify the right host or port?
[root@k8s-node1 ~]# echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash\_profile
[root@k8s-node1 ~]# source ~/.bash\_profile
[root@k8s-node1 ~]# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-gvkcv 1/1 Running 2 (8h ago) 11h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 11h
service/nginx NodePort 10.104.72.59 <none> 80:32708/TCP 11h
2.2 资源操作 相关命令
命令一般都是 kubectl [动作 create delete] [资源 pod services deploy] [名称 nginx mysql]
2.2.1 创建对象
- 创建资源
kubectl create -f ./my-manifest.yaml # 创建资源
kubectl create -f ./my1.yaml -f ./my2.yaml # 使用多个文件创建资源
kubectl create -f ./dir # 使用目录下的所有清单文件来创建资源
kubectl create -f https://git.io/vPieo # 使用 url 来创建资源
下面的方式可用，但不推荐（书写不方便）：
# 从 stdin 输入中创建多个 YAML 对象
cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Pod
metadata:
name: busybox-sleep
spec:
containers:
- name: busybox
image: busybox
args:
- sleep
- "1000000"
---
apiVersion: v1
kind: Pod
metadata:
name: busybox-sleep-less
spec:
containers:
- name: busybox
image: busybox
args:
- sleep
- "1000"
EOF
# 创建包含几个 key 的 Secret
cat <<EOF | kubectl create -f -
apiVersion: v1
kind: Secret
metadata:
name: mysecret
type: Opaque
data:
password: $(echo "s33msi4" | base64)
username: $(echo "jane" | base64)
EOF
- 启动资源实例
kubectl run nginx --image=nginx # 启动一个 nginx 实例
- 获取 pod 和 svc 的文档
kubectl explain pods,svc # 获取 pod 和 svc 的文档
2.2.2 显示和查找资源
# Get commands with basic output
kubectl get services # 列出所有 namespace 中的所有 service
kubectl get pods --all-namespaces # 列出所有 namespace 中的所有 pod
kubectl get pods -o wide # 列出所有 pod 并显示详细信息
kubectl get pods --include-uninitialized # 列出该 namespace 中的所有 pod 包括未初始化的
kubectl get deployment my-dep # 列出指定 deployment
# 查看所有的命名空间
kubectl get ns(namespace)
# 查看部署的应用
kubectl get deploy
# 查看部署的nginx应用
kubectl get deploy nginx
# 查看部署的nginx应用的配置文件 yaml格式
kubectl get deploy nginx -o yaml
# 查看部署的服务
kubectl get services
# 使用详细输出来描述命令
kubectl describe nodes my-node
kubectl describe pods my-pod
kubectl get services --sort-by=.metadata.name # List Services Sorted by Name
# 根据重启次数排序列出 pod
kubectl get pods --sort-by='.status.containerStatuses[0].restartCount'
# 获取所有具有 app=cassandra 的 pod 中的 version 标签
kubectl get pods --selector=app=cassandra rc -o \
jsonpath='{.items[\*].metadata.labels.version}'
# 获取所有节点的 ExternalIP
kubectl get nodes -o jsonpath='{.items[\*].status.addresses[?(@.type=="ExternalIP")].address}'
# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
tus.containerStatuses[0].restartCount'
# 获取所有具有 app=cassandra 的 pod 中的 version 标签
kubectl get pods --selector=app=cassandra rc -o \
jsonpath='{.items[\*].metadata.labels.version}'
# 获取所有节点的 ExternalIP
kubectl get nodes -o jsonpath='{.items[\*].status.addresses[?(@.type=="ExternalIP")].address}'
# 列出属于某个 PC 的 Pod 的名字
# “jq”命令用于转换复杂的 jsonpath，参考 https://stedolan.github.io/jq/
[外链图片转存中...(img-DDlth67D-1715655153880)]
[外链图片转存中...(img-A3EyNenJ-1715655153881)]
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**[需要这份系统化的资料的朋友，可以添加戳这里获取](https://bbs.csdn.net/topics/618658159)**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
3
0- 0
已为社区贡献3条内容
所有评论(0)