1、权限控制 RBAC（权重4%）

设置配置环境：
kubectl config use-context k8s
Context
为部署流水线创建一个新的 ClusterRole 并将其绑定到范围为特定的 namespace 的特定 ServiceAccount。
Task
创建一个名为 deployment-clusterrole 且仅允许创建以下资源类型的新 ClusterRole：
Deployment
StatefulSet
DaemonSet
在现有的 namespace app-team1 中创建一个名为 cicd-token 的新 ServiceAccount。
限于 namespace app-team1 中，将新的 ClusterRole deployment-clusterrole 绑定到新的 ServiceAccount cicd-token。

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s

# 创建ClusterRole
kubectl create clusterrole deployment-clusterrole --verb=create --resource=deployments,statefulsets,daemonsets
# 创建ServiceAccount
kubectl create serviceaccount cicd-token -n app-team1
# 绑定ClusterRole与ServiceAccount
kubectl create rolebinding cicd-token-binding --clusterrole=deployment-clusterrole --serviceaccount=app-team1:cicd-token -n app-team1

# 检查
kubectl -n app-team1 describe rolebinding cicd-token

2、查看 pod 的 CPU（权重5%）

设置配置环境：
kubectl config use-context k8s
Task
通过 pod label name=cpu-loader，找到运行时占用大量 CPU 的 pod，
并将占用 CPU 最高的 pod 名称写入文件 /opt/KUTR000401/KUTR00401.txt（已存在）。

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s

# 查找CPU使用率最高的Pod。
kubectl top pod -l name=cpu-loader --sort-by=cpu -A

# 将查到Pod名称输出到指定文件
echo "podename" > /opt/KUTR000401/KUTR00401.txt

3、配置网络策略 NetworkPolicy（权重7%）

设置配置环境：
kubectl config use-context hk8s
Task
在现有的 namespace my-app 中创建一个名为 allow-port-from-namespace 的新 NetworkPolicy。
确保新的 NetworkPolicy 允许 namespace echo 中的 Pods 连接到 namespace my-app 中的 Pods 的 9000 端口。
进一步确保新的 NetworkPolicy：
不允许对没有在监听 端口 9000 的 Pods 的访问
不允许非来自 namespace echo 中的 Pods 的访问

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s


# 查看所有 ns 的标签 label
kubectl get ns --show-labels

# 给my-app命名空间打一个标签
kubectl label ns my-app project=echo

# 编写一个 yaml 文件
vim networkpolicy.yaml

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
 name: allow-port-from-namespace         #题目的名字
 namespace: my-app                       #被访问者的命名空间
spec:
 podSelector: {}
 policyTypes:
 - Ingress          #策略影响入栈流量
 ingress:
 - from:            #允许流量的来源
 - namespaceSelector:
 matchLabels:
 project: echo      #访问者的命名空间的标签 label
 ports:
 - protocol: TCP
 port: 9000         #被访问者公开的端口

# 创建
kubectl apply -f networkpolicy.yaml

# 检查
kubectl describe networkpolicy -n my-app

参考地址：网络策略 | Kubernetes

4、暴露服务 service（权重7%）

设置配置环境：
kubectl config use-context k8s
Task
请重新配置现有的 deployment front-end 以及添加名为 http 的端口规范来公开现有容器 nginx 的端口 80/tcp。
创建一个名为 front-end-svc 的新 service，以公开容器端口 http。
配置此 service，以通过各个 Pod 所在的节点上的 NodePort 来公开他们。

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s

# 检查 deployment 信息，并记录 SELECTOR 的 Lable 标签，这里是 app=front-end
kubectl get deployment front-end -o wide

# 配置deployment暴露端口，添加如下图配置
kubectl edit deployment front-end

# 暴露对应端口
kubectl expose deployment front-end --type=NodePort --port=80 --target-port=80 --name=front-end-svc
# 注意考试中需要创建的是 NodePort，还是 ClusterIP。如果是 ClusterIP，则应为--type=ClusterIP
# --port 是 service 的端口号，--target-port 是 deployment 里 pod 的容器的端口号。
# 暴露服务后，检查一下 service 的 selector 标签是否正确，这个要与 deployment 的 selector 标签一致的。

# 检查
kubectl get svc front-end-svc -o wide
kubectl get deployment front-end -o wide

# 如果你 kubectl expose 暴露服务后，发现 service 的 selector 标签是空的<none>，或者不是 deployment 的标签则需要编辑此 service，手动添加标签。
kubectl edit svc front-end-svc

# 在 ports 这一小段下面添加 selector 标签
 selector:
 app: front-end #注意 yaml 里是写冒号，而不是等号，不是 app=front-end。

service：

5、创建 Ingress（权重7%）

设置配置环境：
kubectl config use-context k8s
Task
如下创建一个新的 nginx Ingress 资源：
名称: ping
Namespace: ing-internal
使用服务端口 5678 在路径 /hello 上公开服务 hello
可以使用以下命令检查服务 hello 的可用性，该命令应返回 hello：
curl -kL <INTERNAL_IP>/hello

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s

# 创建 ingressclass 的 yaml
vim ingressclass.yaml

apiVersion: networking.k8s.io/v1
kind: IngressClass
metadata:
 labels:
 app.kubernetes.io/component: controller
 name: nginx #考试时没有 ingressClassName，所以需要先手动建一个 ingressClassName，命名就为 nginx。官网页面里是 ingress-example，记得修改下。
 annotations:
 ingressclass.kubernetes.io/is-default-class: "true"
spec:
 controller: k8s.io/ingress-nginx

# 执行yaml文件
kubectl apply -f ingressclass.yaml

#创建ingress的yaml文件
vim ingress.yaml
 
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: pong
  namespace：ing-internal
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /hello
        pathType: Prefix
        backend:
          service:
            name: hello
            port:
              number: 5678

#创建
kubectl apply -f ingress.yaml

#检查
kubectl get ingress -n ing-internal
curl ingress 的 ip 地址/hello

ingressclass.yaml

ingress.yaml

参考地址：Ingress | Kubernetes

6、扩容 deployment 副本数量（权重4%）

设置配置环境：
[candidate@node-1] $ kubectl config use-context k8s
Task
将名为test的deployment资源的Pod的副本数扩容为6个。

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s

# 使用命令进行扩容
kubectl scale deployment test --replicas=6

# 检查
kubectl get deployments test -o wide

7、调度 pod 到指定节点（权重4%）

设置配置环境：
kubectl config use-context k8s
Task
按如下要求调度一个 pod：
名称：nginx-kusc00401
Image：nginx
Node selector：disk=ssd

# 切换答题环境（考试环境有多个，每道题要在对应的环境中作答）
kubectl config use-context k8s


# 确保 node 有这个 labels。
kubectl get nodes --show-labels|grep 'disk=ssd'

# 如果没有设置，则使用命令来手动自己设置。
kubectl label nodes node01 disk=ssd 

# 编辑yaml文件
vim pod-disk-ssd.yaml
 
apiVersion: v1
kind: Pod
metadata:
  name: nginx-kusc00401
spec:
  containers:
  - name: nginx
    image: nginx
  nodeSelector:
    disk: ssd

# 执行yaml文件
kubectl apply -f pod-disk-ssd.yaml

参考地址：将 Pod 分配给节点 | Kubernetes

8、查看可用节点数量（权重4%）

设置配置环境：
kubectl config use-context k8s
Task
检查有多少 nodes 已准备就绪（不包括被打上 Taint：NoSchedule 的节点），
并将数量写入 /opt/KUSC00402/kusc00402.txt

# 切换集群
kubectl config use-context k8s


# grep 的-i 是忽略大小写，grep -v 是排除在外，grep -c 是统计查出来的条数。
kubectl describe nodes | grep -i Taints | grep -vc NoSchedule

echo "查出来的数字" > /opt/KUSC00402/kusc00402.txt

9、创建多容器的 pod（权重4%）

设置配置环境：
kubectl config use-context k8s
Task
按如下要求调度一个 Pod：
名称：kucc8
app containers: 2
container 名称/images：

• nginx
• consu

# 切换集群
kubectl config use-context k8s

# 开始操作
vim pod-kucc.yaml

apiVersion: v1
kind: Pod
metadata:
 name: kucc8
spec:
 containers:
 - name: nginx
 image: nginx
 imagePullPolicy: IfNotPresent 
 - name: consul
 image: consul
 imagePullPolicy: IfNotPresent

kubectl apply -f pod-kucc.yaml
# 检查
kubectl get pod kucc8

参考地址：Pod | Kubernetes

10、创建 PV（权重4%）

设置配置环境：
kubectl config use-context hk8s
Task
创建名为 app-config 的 persistent volume，容量为 1Gi，访问模式为 ReadWriteMany。
volume 类型为 hostPath，位于 /srv/app-config

# 切换集群
kubectl config use-context k8s

# 开始操作
vim pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
 name: app-config
spec:
 capacity:
 storage: 1Gi
 accessModes:
 - ReadWriteMany # 注意，根据题目要求写。
 hostPath:
 path: "/srv/app-config"

# 创建
kubectl apply -f pv.yaml

参考地址：配置 Pod 以使用 PersistentVolume 作为存储 | Kubernetes

11、创建 PVC（权重7%）

设置配置环境：
kubectl config use-context ok8s
Task
创建一个新的 PersistentVolumeClaim：
名称: pv-volume
Class: csi-hostpath-sc
容量: 10Mi
创建一个新的 Pod，来将 PersistentVolumeClaim 作为 volume 进行挂载：
名称：web-server
Image：nginx:1.16
挂载路径：/usr/share/nginx/html
配置新的 Pod，以对 volume 具有 ReadWriteOnce 权限。
最后，使用 kubectl edit 或 kubectl patch 将 PersistentVolumeClaim 的容量扩展为 70Mi，并记录此更改。

# 切换集群
kubectl config use-context k8s

# 开始操作
vim pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
 name: pv-volume #pvc 名字
spec:
 storageClassName: csi-hostpath-sc
 accessModes:
 - ReadWriteOnce # 注意，根据题目要求写。
 resources:
 requests:
 storage: 10Mi

# 创建 PVC
kubectl apply -f pvc.yaml


vim pvc-pod.yaml

apiVersion: v1
kind: Pod
metadata:
 name: web-server
spec:
 volumes:
 - name: task-pv-storage #与下面volumeMounts的name保持一致
 persistentVolumeClaim:
 claimName: pv-volume #这个要使用上面创建的 pvc 名字
 containers:
 - name: nginx
 image: nginx:1.16
 volumeMounts:
 - mountPath: "/usr/share/nginx/html"
 name: task-pv-storage #与上面volumes的name保持一致

# 创建
kubectl apply -f pvc-pod.yaml
# 检查
kubectl get pod web-server

# 修改容量
kubectl edit pvc pvvolume --save-config
# 把pvc.yaml（图一）中10Mi改成70Mi即可，

vim pvc.yaml

vim pvc-pod.yaml

参考地址：配置 Pod 以使用 PersistentVolume 作为存储 | Kubernetes

12、查看 pod 日志（权重5%）

设置配置环境：
kubectl config use-context k8s
Task
监控 pod foo 的日志并：
提取与错误 RLIMIT_NOFILE 相对应的日志行
将这些日志行写入 /opt/KUTR00101/foo

# 切换集群
kubectl config use-context k8s

# 开始操作
kubectl logs foo | grep "RLIMIT_NOFILE" > /opt/KUTR00101/foo

# 检查
cat /opt/KUTR00101/foo

13、使用 sidecar 代理容器日志（权重7%）

设置配置环境：
kubectl config use-context k8s
Context
将一个现有的 Pod 集成到 Kubernetes 的内置日志记录体系结构中（例如 kubectl logs）。
添加 streaming sidecar 容器是实现此要求的一种好方法。
Task
使用 busybox Image 来将名为 sidecar 的 sidecar 容器添加到现有的 Pod 11-factor-app 中。
新的 sidecar 容器必须运行以下命令：
/bin/sh -c tail -n+1 -f /var/log/11-factor-app.log
使用挂载在/var/log 的 Volume，使日志文件 11-factor-app.log 可用于 sidecar 容器。
除了添加所需要的 volume mount 以外，请勿更改现有容器的规格。

# 切换集群
kubectl config use-context k8s

# 开始操作
kubectl get pod 11-factor-app -o yaml > varlog.yaml

# 备份 yaml 文件，防止改错了，回退。
cp varlog.yaml varlog-bak.yaml

# 修改 varlog.yaml 文件
vim varlog.yaml

spec:
 volumeMounts: 
 - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
 name: default-token-4l6w8
 readOnly: true
 - name: varlog 
 mountPath: /var/log 
 - name: sidecar         #新加内容，注意 name 别写错了
 image: busybox          #新加内容
 args: [/bin/sh, -c, 'tail -n+1 -f /var/log/11-factor-app.log'] #新加内容
 volumeMounts:          #新加内容
 - name: varlog         #新加内容
 mountPath: /var/log    #新加内容
 dnsPolicy: ClusterFirst
 enableServiceLinks: true
 volumes: 
 - name: kube-api-access-kcjc2
 projected:
 defaultMode: 420
 sources:
 - serviceAccountToken:
 expirationSeconds: 3607
 path: token
 - configMap:
 items:
 - key: ca.crt
 path: ca.crt
 name: kube-root-ca.crt
 - downwardAPI:
 items:
 - fieldRef:
 apiVersion: v1
 fieldPath: metadata.namespace
 path: namespace
 - name: varlog #新加内容，注意找好位置。
 emptyDir: {} #新加内容

# 删除原先的 pod
kubectl delete pod 11-factor-app
kubectl get pod 11-factor-app

# 新建这个 pod
kubectl apply -f varlog.yaml

参考地址：日志架构 | Kubernetes

14、升级集群（权重7%）

设置配置环境：
[candidate@node-1] $ kubectl config use-context mk8s
Task
现有的 Kubernetes 集群正在运行版本 1.28.0。仅将 master 节点上的所有 Kubernetes 控制平面和节点组件升级到版本 1.28.1。
确保在升级之前 drain master 节点，并在升级后 uncordon master 节点。
可以使用以下命令，通过 ssh 连接到 master 节点：
ssh master01
可以使用以下命令，在该 master 节点上获取更高权限：
sudo -i
另外，在主节点上升级 kubelet 和 kubectl。
请不要升级工作节点，etcd，container 管理器，CNI 插件， DNS 服务或任何其他插件。

# 切换集群
kubectl config use-context k8s

kubectl get nodes
# 打污点，强制驱逐node节点的pod
kubectl cordon master01
kubectl drain master01  --ignore-daemonsets=false

ssh master01
sudo -i
apt-get update
apt-cache show kubeadm|grep 1.28.1
apt-get install kubeadm=1.28.1-00

# 检查
kubeadm version

# 验证升级计划，会显示很多可升级的版本，我们关注题目要求升级到的那个版本。
kubeadm upgrade plan

# 排除 etcd，升级其他的，提示时，输入 y。大约要等 5 分钟。
kubeadm upgrade apply v1.28.1 --etcd-upgrade=false

# 升级 kubelet
apt-get install kubelet=1.28.1-00
systemctl restart kubelet
kubelet --version

# 恢复 master01 调度
kubectl uncordon master01
kubectl get nodes

参考地址：升级 kubeadm 集群 | Kubernetes

15、备份还原 etcd（权重7%）

设置配置环境
此项目无需更改配置环境。但是，在执行此项目之前，请确保您已返回初始节点。
注意，这个之前是在 master01 上，所以要 exit 退到 node01，如果已经是 node01 了，就不要再 exit 了。
Task
首先，为运行在 https://11.0.1.111:2379 上的现有 etcd 实例创建快照并将快照保存到 /var/lib/backup/etcd-snapshot.db
（注意，真实考试中，这里写的是 https://127.0.0.1:2379）
为给定实例创建快照预计能在几秒钟内完成。 如果该操作似乎挂起，则命令可能有问题。用 CTRL + C 来取消操作，然后重试。
然后还原位于/data/backup/etcd-snapshot-previous.db 的现有先前快照。
提供了以下 TLS 证书和密钥，以通过 etcdctl 连接到服务器。
CA 证书: /opt/KUIN00601/ca.crt
客户端证书: /opt/KUIN00601/etcd-client.crt
客户端密钥: /opt/KUIN00601/etcd-client.key

#切换集群#
kubectl config use-context k8s

备份：
# 如果不使用 export ETCDCTL_API=3，而使用 ETCDCTL_API=3，则下面每条 etcdctl 命令前都要加 ETCDCTL_API=3。
# 如果执行时，提示 permission denied，则是权限不够，命令最前面加 sudo 即可。
export ETCDCTL_API=3
etcdctl --endpoints=https://127.0.0.1:2379 --cacert="/opt/KUIN00601/ca.crt" --cert="/opt/KUIN00601/etcd-client.crt" --key="/opt/KUIN00601/etcd-client.key" 
snapshot save /var/lib/backup/etcd-snapshot.db

检查
etcdctl snapshot status /var/lib/backup/etcd-snapshot.db -wtable

1、先检查一下考试环境，使用的 etcd 是服务还是容器。
kubectl get pod -A
sudo systemctl status etcd
如果是 systemd 服务，则继续往下操作。

2、确认 etcd 数据目录（--data-dir 值）
ps -ef |grep etcd
一般默认为/var/lib/etcd

3、停止 etcd 服务
sudo systemctl stop etcd

4、先移动备份 etcd 原目录
sudo mv /var/lib/etcd /var/lib/etcd.bak

5、开始还原（还原时，可以不加证书和秘钥）
sudo ETCDCTL_API=3 etcdctl --data-dir=/var/lib/etcd snapshot restore /data/backup/etcd-snapshot-previous.db

6、更改文件属主
sudo chown -R etcd:etcd /var/lib/etcd

7、启动 etcd 服务
sudo systemctl start etcd

参考地址：操作 Kubernetes 中的 etcd 集群 | Kubernetes

16、排查集群中故障节点 （权重13%）

设置配置环境：
kubectl config use-context wk8s
Task
名为 node02 的 Kubernetes worker node 处于 NotReady 状态。
调查发生这种情况的原因，并采取相应的措施将 node 恢复为 Ready 状态，确保所做的任何更改永久生效。可以使用以下命令，通过 ssh 连接到 node02 节点：
ssh node02
可以使用以下命令，在该节点上获取更高权限：
sudo -i

#切换集群
kubectl config use-context k8s

ssh node2
sudo -i 
systemctl status kubelet
systemctl enable kubelet
systemctl start kubelet

#检查
kubectl get nodes

17、节点维护（权重4%）

设置配置环境：
kubectl config use-context ek8s
Task
将名为 node02 的 node 设置为不可用，并重新调度该 node 上所有运行的 pods。

#切换集群
kubectl config use-context k8s
kubectl crodon node02
kubectl drain node02 --ignore-daemonsets
# 注意，还有一个参数--delete-emptydir-data --force，这个考试时不用加，就可以正常 draini node02 的。
# 但如果执行后，有跟测试环境一样的报错，则需要加上--delete-emptydir-data --force，会强制将 pod 移除。
# kubectl drain node02 --ignore-daemonsets --delete-emptydir-data --force