docker-k8s-helm-及其他附件介绍
docker-k8s-helm-及其他附件介绍
--------------------------------------------
容器介绍
--------------------------------------------
# 导入导出镜像
docker save xxx > xx.tar
docker load -i xx.tar
docker save 可导出多个镜像
# 查看镜像
docker imges
# 删除镜像
docker rmi xxx
# 查看容器运行状态
docker ps -a
# 运行容器
docker run -dit --name=xxx 容器名
# 查看容器信息
docker inspect xxx
# 容器一旦创建好了映射端口，没办法再次修改，只能删除容器重建
docker -dit --name=xxx -p 3307:3306
冒号后面是容器内部端口，冒号前面是宿主机端口
# 容器的常见命令
docker exec
docker start
docker stop
docker restart
docker logs -f node #约等于tail -f
docker inspect
# 宿主机文件拷贝到容器中
docker cp xxx 容器名:目录
# 数据卷
docker run -dit --name xxx -v /宿主机目录:/容器目录 xxx
# 简化
docker run -dit --name=blog -p 80:80 -v /web:/var/www/html --link db:mysql -e WORDPRESS_DB_HOST=mysql -e WORDPRESS_DB_USER=root -e WORDPRESS_DB_PASSWORD=redhat -e WORDPRESS_DB_NAME=wordpress wordpress
docker run -dit --name=blog -p 80:80 -v /web:/var/www/html --link db:mysql wordpress
# 容器网络
docker network inspect bridge
docker network create -d bridge --subnet=10.0.0.0/24 br0
man -k docker
# 自定义镜像
dockfile
```
FROM centos # 指明基镜像
MAINTAINER xxx # 镜像作者
# 以下命令会在临时容器中执行，再重新生成新的镜像
RUN yum install net-tools -y
ADD /xxx/xxx /xxx/xxx # 拷贝到容器内部路径
CMD ["/bin/bash"]
```
# ADD 拷贝后的文件会自动解压
# COPY 没有自动解压
docker build -t centos:v1 ./ -f dockerfile文件名
```
FROM centos # 指明基镜像
MAINTAINER xxx # 镜像作者
ENV aa=123
VOLUME ["/data"]
CMD ["/bin/bash"]
```
# ENV 指定环境变量
# USER 指定用户
# VOLUME 指定文件路径
# 搭建本地仓库
# harbor registry
# docker 1.9.3开始是以https上传，需要做证书
/etc/docker/daemon.json加入
"insecure-registries":[xxx.xxx.xxx.xxx:5000]
# 拉取镜像添加默认路径
vim /etc/sysconfig/docker
ADD_REGISTRY="--add-registry"
# 查看仓库里的镜像
curl -s xxx.xxx.xxx.xxx:5000/v2/_catalog | json_reformat
curl -s xxx.xxx.xxx.xxx:5000/v2/tags/list
# 删除仓库里的镜像
使用第三方脚本：delete_docker_registry_image
export REGISTRY_DATA_DIR=/xxx/docker/registry/v2
delete_docker_registry_image -i 镜像名
# 限制容器资源
docker run -dit -m(限制内存大小)
docker run -dit --cpuset-cpu=0 # 指定在0号CPU上
ps mo pid, comm, psr $(pgrep ssh)
# compose 容器的编排工具
compose
swarm
mesos
kubernetes
等
docker-compose start # 开启容器
docker-compose stop # 停止容器
docker-compose ps # 查看容器状态
docker-compose rm # 删除容器
docker-compose up -d # 后台加载ocker-compose.yaml，生成容器
# 主要依赖于docker-compose.yaml
# harbor
上传镜像前：
1.需要该项目的用户权限分配到位
2.修改需要上传的镜像tag
3.docker login xxx.xxx.xxx.xxx
4.dokcer push xxx
--------------------------------------------
k8s
--------------------------------------------
# 安装k8s、kubeadm
各组件作用，所有组件都是以容器方式运行
scheduler 调度组件
etcd 分布式数据库
svc-ip 负载IP
kubeproxy 负载代理
kubelt 接收kubectl发送的请求
更新yum源
设置hosts
# 参考文档
https://baijiahao.baidu.com/s?id=1711041019758002121&wfr=spider&for=pc
#cent OS 7镜像
https://vault.centos.org/7.4.1708/isos/x86_64/
安装k8s，关闭 swap 和 selinux 和 防火墙
vim /etc/fstab # 注释swap行
vim /etc/selinux/config # 改为disable
systemctl disable firewalld.service # 关闭防火墙
# 添加k8s源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 添加k8s配置文件
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
# 更新yum源为阿里或者其他源
yum claen all && yum makecache
# 安装kubeadm
yum install -y kubelet-1.18.2-0 kubeadm-1.18.2-0 kubectl-1.18.2-0 --disableexcludes=kubernetes
# 使用kubeadm快速部署k8s
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.18.2 --pod-network-cidr=10.244.0.0/16
# 根据部署完成后提示进行添加文件和集群信息
# 加载calico镜像
docker load -i calico_v3
# 修改calicoyaml文件，指定本机虚拟网段和k8s集群网段
sed -i 's/10.211.0.0/10.244.0.0/g' calico_v3.10.yaml
# 常用命令
kubectl get nodes # 查看节点信息
kubectl cluster-info
kubectl version kubectl api-versions
kubectl config view
# 删除节点
kubectl drain vms12.rhce.cc --delete-local-data --force --ignore-daemonsets
kubectl delete node vms12.rhce.cc
# k8s节点监测软件
heapster
# 安装metric server
--------------------------------------------
namespace ns
--------------------------------------------
# 不同的namespace之间互相隔离
kubectl get ns # 查看ns
kubectl get pods -n xxx # 指定查看ns中的pods
kubectl config get-contexts
kubectl config set-context 集群名 --namespace=命名空间
kubectl config set-context --current --namespace=命名空间
kubectl create ns xxx
kubectl delete ns # 如果ns里有pod，删除后里面东西会一起删除
kubectl get pods --all-namespace
kube-system # 系统命名空间，用来存放k8s系统pod
/etc/kubernetes/manifests # 目录下存放主要配置信息
systemctl restart kubelet # 重启kubelet后生效配置信息
--------------------------------------------
多集群切换
--------------------------------------------
~/.kube/config # 进行配置修改集群信息
kubectl config get-contexts # 查看集群信息
kubectl config use-context # 切换集群
--------------------------------------------
etcd # 分布式数据库
--------------------------------------------
ETCD集群是一个分布式系统,使用Raft协议来维护集群内各个节点状态的一致性。
主机状态 Leader, Follower, Candidate
当集群初始化时候，每个节点都是Follower角色
通过心跳与其他节点同步数据
当Follower在一定时间内没有收到来自主节点的心跳，
会将自己角色改变为Candidate，并发起一次选主投票
配置etcd集群，建议尽可能是奇数个节点，而不要偶数个节点
/var/lib/etcd/xxx # etcd数据存放位置
/etc/etcd/etcd.conf # etcd配置文件
# etcd集群配置
# member
ETCD_DATA_DIR="/var/lib/etcd/cluster.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.26.61:2380,http://localhost:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.26.61:2379,http://localhost:2379"
ETCD_NAME="etcd-61"
# clustering
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.26.61:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://localhost:2379,http://192.168.26.61:2379"
ETCD_INITIAL_CLUSTER="etcd-61=http://192.168.26.61:2380,etcd- 62=http://192.168.26.62:2380,etcd-63=http://192.168.26.63:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
# 参数意义
ETCD_NAME 节点名称，默认为default
ETCD_DATA_DIR 服务运行数据保存的路径
ETCD_LISTEN_PEER_URLS 监听的同伴通信的地址，比如http://ip:2380，如果有多个，使用逗号分隔。需要 所有节点都能够访问，所以不要使用 localhost!
ETCD_LISTEN_CLIENT_URLS 监听的客户端服务地址
ETCD_ADVERTISE_CLIENT_URLS 对外公告的该节点客户端监听地址，这个值会告诉集群中其他节点。 ETCD_INITIAL_ADVERTISE_PEER_URLS 对外公告的该节点同伴监听地址，这个值会告诉集群中其他节点 ETCD_INITIAL_CLUSTER 集群中所有节点的信息，格式为
ETCD_INITIAL_CLUSTER_STATE 新建集群的时候，这个值为 new;假如加入已经存在的集群，这个值为 existing。
ETCD_INITIAL_CLUSTER_TOKEN 集群的ID，多个集群的时候，每个集群的ID必须保持唯一
etcd member list # 查看集群成员信息
etcd member remove xxxx # 删除集群成员
所有etcd节点版本要保持一致
版本3中，etcd内部存储使用键值对形式
# vim快速替换
%s/old/new/g
# etcd新增节点
ETCD_INITIAL_CLUSTER_STATE 新建集群的时候，这个值为 new;假如加入已经存在的集群，这个值为 existing
etcdctl member add etcd-64 http://192.168.26.64:2380
# etcd管理
export ETCDCTL_API=3
etcdctl put k1 vv1
etcdctl get k1
etcdctl snapshot save snap1.db etcdctl del k1 # 快照
etcdctl help snapshot save
etcdctl --cacert=domain1.crt --cert=node1.pem --key=node1.key - -endpoints=127.0.0.1:2379 snapshot save snap1.db
etcdctl --endpoints=127.0.0.1:2379 snapshot save snap1.db
--------------------------------------------
pod
--------------------------------------------
创建pod的2种方式
1.写yaml文件(推荐)
a.复制模板并修改
```
apiVersion: v1
kind: Pod
metadata:
name: pod-1
labels:
app: myapp
spec:
containers:
- name: hello
imagePullPolicy: IfNotPresent # 设置下载镜像模式
image: nginx
resources: {}
command: ["sh","-c","sleep 1000"]
dnsPolicy: ClusterFirst
restartPolicy:Always
# command: ['sh', '-c', 'echo "Hello, Kubernetes!" && sleep 3600']
```
b.可以使用命令行来生产
2.可以使用命令行的方式
# --dry-run=client 并不真正运行
kubectl run pod1 --image=nginx --dry-run=client -o yaml > pod1.yaml
# pod的基本操作
kubectl exec 命令
kubectl exec -it pod sh #如果pod里有多个容器，则命令是在第一个容器里执行
kubectl exec -it demo -c demo1 sh
kubectl describe pod pod名
kubectl logs pod名 -c 容器名 #如果有多个容器的话
kubectl edit pod pod名
kubectl cp /xxx/xx pod_name:/xxx/xx # 拷贝物理机至pod
kubectl cp pod_name:/xxx/xx /xxx/xx # 拷贝pod至物理机
Pending pod 因为其他的原因导致pod准备开始创建 还没有创建(卡住了)
Running pod已经被调度到节点上，且容器工作正常
Completed pod里所有容器正常退出
error
CrashLoopBackOff 创建的时候就出错，属于内部原因
imagePullerror 创建pod的时候，镜像下载失败
一个pod里，可以有多个容器，
其中第一个容器叫做主容器，其他容器叫sidecar
kubectl get pod pod_name -c container_1 # 进入pod的指定容器里
初始化容器没有运行完，才会运行常规容器
初始化容器从上到下依次运行
如果某初始化容器运行失败，后续的初始化容器不再运行
# 静态pod
修改完静态pod yaml文件后，systemctl restart kubelet 重启立即生效
systemctl status kubelet # 查看kubectl的状态和配置文件地址
# 对node设置标签
kubectl label nodes xx aaa=xx
kubectl label nodes --all aaa=xx # 对所有节点设置标签
kubectl label nodes --all aaa- # 取消标签
kubectl edit nodes xxx
# 查询nodes运行信息
kubectl get nodes xxx -o wide
# 查询pod运行信息
kubectl get pods xxx -n xxx -o wide
# 设置pod在指定的标签上运行
1.先对某节点打上标签
2.修改yml中，修改字段 nodeSelector:指定标签信息
# 如果某node需要维护
1.先将某节点cordon，设置为不可调度模式
2.然后再进行维护
3.其上面已经运行的pod，还是继续运行
kubectl uncordon node_name # 恢复调度模式
kubectl drain vms11.rhce.cc --ignore-daemonsets
kubectl uncordon vms11.rhce.cc
用于节点的维护
如果一个节点被设置为drain，则此节点不再被调度pod，
且此节点上已经运行的pod会被驱逐(evicted)到其他节点
drain包含: cordon、evicted
# 节点污点设置Taint
kubectl taint nodes node_name keyxx=valuexx:NoSchedule
kubectl taint nodes node_name keyxx- # 取消污点
# 容忍污点，tolerations字段增加信息可容忍污点
tolerations:
- key: "keyxx"
operator: "Equal"
value: "valuexx"
effect: "NoSchedule"
containers:
- name: myapp-container
image: nginx
--------------------------------------------
存储管理
--------------------------------------------
本地存储：缺点：pod停止后重新拉起，漂移，导致文件访问异常
emptyDir
hostPath
网络储存：缺点，存储访问的人员复杂，容易误操作
nfs
iscsi
ceph
glusterfs
持久性存储：
# emptyDir：
volumes:
- name: volume1
emptyDir: {} containers:
- name: demo1
image: busybox
command: ['sh','-c','sleep 5000']
volumeMounts:
- mountPath: /xx
name: volume1
# nfs使用,容易有性能瓶颈,nas存储
yum install nfs-u* -y
apiVersion: v1
kind: Pod
metadata:
labels:
run: nginx
name: nginx spec:
volumes:
- name: nfs
nfs:
server: 192.168.26.102
path: "/123"
containers:
- image: nginx
name: nginx
volumeMounts:
- name: nfs
mountPath: "/usr/share/nginx/html"
# iscsi使用，san存储,课后不用练习
yum install target* -y
yum install iscsi* -y
apiVersion: v1
kind: Pod
metadata:
name: iscsipd
spec:
containers:
- name: iscsipd-rw
image: nginx
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: "/mnt/iscsipd"
name: iscsipd-rw
volumes:
- name: iscsipd-rw
iscsi:
targetPortal: 192.168.26.102:3260
iqn: iqn.2018-10.cc.rhce:disk
lun: 0
fsType: xfs
readOnly: false
# pv，持久性存储
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv01
spec:
capacity:
storage: 5Gi
volumeMode: Filesystem
accessModes:
- ReadWriteOnce
storageClassName: slow #
persistentVolumeReclaimPolicy: Recycle
nfs:
path: /zz
server: 192.168.26.1
# pvc和pv关联的时候，有两个重要的参数
1.accessmode
ReadWriteOnce
ReadOnlyMany
ReadWriteMany
2.capacity
容量--配额--最多只能写最大的数据
# 一个pv只能匹配一个pvc
storageClassName # 只有这个值相同的情况，才会继续匹配
# pvc容量不能大于pv的容量
pv回收策略
• Recycle --会删除数据
• 会生成一个pod回收数据
• 删除pvc之后，pv可复用
• pv状态由Released变为Available
• Retain--不回收数据
• 但是删除pvc之后，pv依然不可用
• pv状态长期保持为 Released
--------------------------------------------
密码管理
--------------------------------------------
kubectl create secret generic mysecret1 --from-literal=user=tom --from- literal=password1=redhat --from-literal=password2=redhat
主要有两种方式引用secret
1.变量的方式进行引用（主要用这种方式引用居多）
2.卷的方式进行引用
kubectl create secret generic --help
apiVersion: v1
kind: Pod
metadata:
name: mysql
labels:
name: mysql spec:
containers:
- image: hub.c.163.com/library/mysql:latest
name: mysql
ports:
- containerPort: 3306
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
name: mysecret1
key: password1
kubectl create configmap --help
configmap he secret 实际上一样
secret对内容进行了base64加密
也是有2种引用方式
--------------------------------------------
deployment: 控制器,管理pod
--------------------------------------------
pod是不稳定，不健壮的
控制器：deployment/replicationcontroller/replicasets
kubectl create deployment dep_name --image=nginx --dry-run(模拟创建)=client -o yaml
apiVersion: apps/v1
kind: Deployment
metadata:
creationTimestamp: null
labels:
app: dep1
name: dep1 # devlopment的名字
spec:
replicas: 1 # 副本数
selector:
matchLabels:
app: dep1
strategy: {}
template:
metadata:
creationTimestamp: null # 时间戳，可不用
labels: # 定义pod标签
app: dep1
spec:
containers:
- image: nginx
imagePullPolicy: IfNotPresent
name: nginx
resources: {}
status: {}
matchLabels需要和template中的labels中保持一致
# 修改deployment副本数
1.命令行修改
2.在线修改
3.修改yaml文件
# 命令行在线修改
kubectl scale deployment xxx --replicas=数量
# 在线修改副本数
kubectl edit deployment.apps xxxx
# 重新导出yaml文件
kubectl get deployment.apps xxx -o yaml > xxx.yaml
# 升级镜像
kubectl set image deploy deploy_name container_name=new_container_name --record # 保留镜像更新记录
该过程会先删除原有容器，再创建新的容器
# 可查看做了多少次修改
kubectl rollout history deploy pod_name
# 回滚
kubectl rollout undo deployment name --to-revision=xxx
或者直接修改yaml文件来进行镜像升级
滚动升级
rollingUpdate:
maxSurge: xx% # 在升级过程中一次升级几个，可以按百分比或者指定个数
maxUnavaliable: xx% #在升级过程中，只能有1个不可用一次性删除多少个pod，可以按百分比或者指定个数
HPA
通过检测pod CPU的负载，解决deployment里某pod负载太重，动态伸缩pod的数量来负载均衡
kubectl autoscale deployment nginx --min=2 --max=10 --cpu-percent=80
HPA和手工调整，没有优先级
--------------------------------------------
其他一些控制器
--------------------------------------------
daemonset
应用场景
1.运行集群存储 daemon，例如在每个 Node 上运行 glusterd、ceph
2.在每个 Node 上运行日志收集 daemon，例如fluentd、logstash
3.在每个 Node 上运行监控 daemon，例如 Prometheus Node Exporter、collectd、 Datadog 代理、New Relic 代理，或 Ganglia gmond
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: busybox
spec:
selector:
matchLabels:
app: busybox
template:
metadata:
labels:
app: busybox
spec:
containers:
- name: busybox
image: busybox command:
- sleep
- "36000"
可在yaml上写上标签注明在哪个节点上生成pod
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: busybox
spec:
selector:
matchLabels:
app: busybox
template:
metadata:
labels:
app: busybox
spec:
nodeSelector:
lable_xxx: xxx
containers:
- name: busybox
image: busybox command:
- sleep
- "36000"
ReplicationController (RC)控制器
yaml文件类似deploymentyaml类型
kubectl scale rc nginx --replicas=10 # 调整副本数
ReplicaSet(rs)控制器
kubectl scale rs nginx --replicas=10
--------------------------------------------
健康性检查
--------------------------------------------
探测的目的
deployment只能保证pod的正常运行
pod内部的状态需要probe来进行探测
当probe监测到此问题，会认为pod出现了问题
1.liveness probe
command
http get
tcp socket
# 1.livenessProbe
apiVersion: v1
kind: Pod
metadata:
labels:
test: liveness
name: liveness-exec
spec:
containers:
- name: liveness
image: busybox args:
- /bin/sh
- -c
- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 10
livenessProbe:
exec: command:
- cat
- /tmp/healthy
initialDelaySeconds: 5 #容器启动的5s内不监测
periodSeconds: 5 #每5s钟检测一次
# 2.httpGet/tcp
livenessProbe:
failureThreshold: 3
httpGet:
path: /index.html
port: 80
scheme: HTTP
livenessProbe:
failureThreshold: 3
tcpSocket:
port: 80
initialDelaySeconds:容器启动后第一次执行探测是需要等待多少秒。
periodSeconds:执行探测的频率，默认是10秒，最小1秒。
timeoutSeconds:探测超时时间，默认1秒，最小1秒。
successThreshold:探测失败后，最少连续探测成功多少次才被认定为成功，默认是1，对于liveness必须 是1，最小值是1。
failureThreshold:当 Pod 启动了并且探测到失败，Kubernetes 的重试次数。存活探测情况下的放弃就意味 着重新启动容器。就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1
https://kubernetes.io/zh/docs/tasks/configure-pod-container/configure-liveness-readiness- startup-probes/#configure-probes
2.readiness probe
# liveness通过重启来解决问题
# readiness检测到问题，并不重启
# 只是svc接收的请求不再转发给此pod
--------------------------------------------
job
cronjob
--------------------------------------------
job 用来执行单次的任务
cronjob 用来执行计划任务
# job
job的restart策略只能是:
Nerver 只要任务没有完成，则是新创建pod运行，直到job完成会产生多个pod
OnFailure 只要pod没有完成，则会重启pod，直到job完成
apiVersion: batch/v1
kind: Job
metadata:
name: job1
spec:
backoffLimit: 6 # 重启次数
completions: 1
parallelism: 1 # 并行，同时创建几个pod来执行任务
template:
metadata:
name: pi
spec:
containers:
- name: hello
image: busybox
command: ["sh","-c","echo hello world!"]
restartPolicy: Never
# cronjob
和crontab一样 分 时 天 月 周 命令 如果没写的话，则表示“每”
启用cronjob
vim /etc/kubernetes/manifests/kube-apiserver.yaml
添加
- --runtime-config=batch/v2alpha1=true
--------------------------------------------
SVC
--------------------------------------------
# svc本质上是一个负载均衡器，实现负载均衡：
iptables
ipvs # 性能更优
kube-proxy # 可选两种负载模式
创建svc的时候，可以基于pod来做，也可以基础deployment来做
基于pod，在svc里指定，我们需要关联哪些标签
基于deployment做，svc会关联deploy里定义pod的哪些标签
kubectl expose deployment xx --name=svc1 --port=80 --target-port==80
target-port # 后端端口
port # svc监听端口
svc的ip也是集群可见的
服务的发现
1.cluster IP
2.变量的方式 $(SVCNAME_SERVICE_HOST/SVCNAME_SERVICE_PORT)
# 变量的方式存在问题：
# 1.智能获取相同ns里的变量
# 2.变量的获取有先后顺序，引用的变量必须要先创建
3.dns的方式 # 推荐这种方式进行访问
# 1.在同一个命名空间里，一个服务访问另外一个服务的时候，可以直接通过服务名来访问
# 2.如果是不同的命名空间，可以通过 服务名.命名空间名 来访问
# 服务名.命名空间.svc.cluster.local
docker pull busybox:1.28.3
kubectl run busybox --rm -it --image=busybox:1.28.3 sh
服务发布
# 让集群之外的主机能访问服务
clusterIP
NodePort
和hostPort不同：
# 1.hostPort对pod来做，nodePort对svc来做
# 2.nodeport可以做负载均衡，hostport不可以
ingress 服务的发布
# 1.先创建pod
# 2.然后创建SVC关联pod
# 3.然后创建ingress组件pod
# 4.然后创建ingress规则pod，编辑规则
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: myingress
spec:
rules:
- host: www.rhce.cc
http:
paths:
- path: /
backend:
serviceName: nginx2
servicePort: 80
- path: /cka
backend:
serviceName: nginx2
servicePort: 80
--------------------------------------------
网络
--------------------------------------------
网络策略的设置
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: policy_tst
spec:
podSelector:
matchLabels:
aa: aa1
policyTypes:
- Ingress # 入流量的策略
ingress:
- from:
- podSelector: # 允许通过的标签匹配
matchLabels:
xx: xx
- ipBlock: # 允许访问的地址段
cidr: 0.0.0.0/0
ports:
- protocol: TCP
port: 80
--------------------------------------------
helm
--------------------------------------------
helm/tiller
helm # 客户端工具，发送各种请求
tiller # 服务器端
tiller.yaml # 修改3个地方
# 1.apiversion
# 2.seletor
# 3.image: 地址
helm仓库下载：
helm init --client-only --stable-repo-url http://mirror.azure.cn/kubernetes/charts/ http://mirror.azure.cn/kubernetes/charts/
https://apphub.aliyuncs.com
helm repo list
helm repo remove stable
helm repo add ali https://apphub.aliyuncs.com
kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller
# helm 权限问题
https://stackoverflow.com/questions/54683563/helm-error-error-the-server-has-asked-for-the-client-to-provide-credentials
helm delete --purge xxx # 深度删除
包下载的位置：/root/.helm/cache/archive
helm fetch xxx # 下载包
解压后生成的文件夹叫做：chart
chart包里一般包含
# 1.readme文件
# 2.chart.yaml 记录chart属性信息
# 3.values.yaml 核心配置文件
# 4.templates 创建pvc、deployment等yaml文件，这些yaml文件取值均来自于value.yaml中
helm install --name xx ./
helm package xxx # 打包
搭建私有仓库
1.需要一个web服务器
2.
自定义chart
helm create mychart
检测语法
helm lint mychart
helm install --dry-run mychart --debug
helm install mychart
推送到源里
helm package mychart # 打包
mkdir myrepo
mv mychart-0.1.0.tgz myrepo
docker run -dit --name=c1 -p 8080:80 -v /data:/usr/share/nginx/html docker.io/nginx
helm repo index myrepo/ --url http://192.168.26.52:32419/charts
然后把myrepo拷贝过去 cp myrepo/* /data/charts/
--------------------------------------------
权限管理
--------------------------------------------
kube自带证书位置：
/etc/kubernetes/pki
登录方式：
1. kubeconfig
# kubeconfig 文件位置：~/.kube/config
# 该配置文件和 /etc/kubernetes/admin.conf一样
2. 用户名和密码方式登录：
1:user account
2:service accounte
# kubeconfig方式进行登录
1.生成特定权限的kubeconfig
# 生成私钥
openssl genrsa -out client.key 2048
# 通过私钥生成一个证书请求文件
openssl req -new -key cliient.key -subj "/CN=mary" -out client.csr
# 指定路径参数
dir=/etc/kubernetes/pki/
# 颁发证书
openssl x509 -req -in /ca1/client.csr -CA $dir/ca.crt -CAkey $dir/ca.key -CAcreateserial -out /ca1/client.crt -days 3650
# 拷贝证书
cp $dir/ca.crt ./
# 对用户进行授权
kubectl create clusterrolebinding cluster-test2x --clusterrole=cluster-admin --user=mary
# 开始以mary用户创建kubeconfig文件
# 新建配置文件config1
kubectl config --kubeconfig=config1 set-cluster cluster1 --server=https://192.168.48.142:6443 --certificate-authority=ca.crt --embed-certs=true
kubectl config --kubeconfig=config1 set-credentials admin1 --client-certificate=client.crt --client-key=client.key --embed-certs=true
# 引用kube配置文件
export KUBECONFIG=xxx
# 切换命名空间
kubectl config set-context context1
1.以mary用户生成证书
2.用此证书生成授权
3.创建kubeconfig文件,以mary用户证书关联
# 用户名密码进行登录
1. basic-auth-file 输入用户名和密码方式
2. token-auth-file 输入token进行验证
# basic-auth-file 输入用户名和密码方式
# user account方式进行登录
1. 修改api配置文件
vim /etc/kubernetes/manifests/kube-apiserver.yaml
# 增加此段配置，地址为此目录下
- --basic-auth-file=/etc/kubernetes/pki/aa.csv
2. aa.csv中添加用户
redhat,admin,1
redhat,tom,2
redhat,bob,3
3. 重启kubelet
systemctl restart kubelet
4. 对用户进行授权
kubectl create clusterrolebinding cluster-test2 --clusterrole=cluster-admin --user=admin
5. 登录测试
/tmp/kubectl -s="https://192.168.48.142:6443" --username="admin" --password="redhat" get pods -n kube-system
/tmp/kubectl -s="https://192.168.48.142:6443" --insecure-skip-tls-verify=true --username="admin" --password="redhat" get pods -n kube-system
# service account方式进行登录 sa
每个namespace里，都有一个default
pod里的进程以哪个sa来运行
可以对sa来授权
# 授权authorization
- --authorization-mode=Node,RBAC
- --authorization-mode=AlwaysAllow #允许所有请求
- --authorization-mode=AlwaysDeny #拒绝所有请求
- --authorization-mode=ABAC
Attribute-Based Access Control 不够灵活放弃
- --authorization-mode=RBAC
Role Based Access Control # 目前主流的认证规则
- --authorization-mode=Node
Node授权器主要用于各个node上的kubelet访问apiserver时使用的，其他一般均由RBAC授权器来授权
# RBAC认证的基于命名空间来做授权
1.clusterrolebinding # 全局
2.rolebinding
# rolebinding
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: pod-reader
rules:
- apiGroups: [""] # api-version父子级
resources: ["pods"]
verbs: ["get", "watch", "list"]
# 权限 get/watch/list/patch/delete/create
kubectl create rolebinding mybinding --role=pod-readr --user=tom
# clusterrolebinding
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: reader
rules:
- apiGroups: [""] # api-version父子级
resources: ["pods"]
verbs: ["get", "watch", "list", "create", "delete"]
- apiGroups: ["app"] # api-version父子级
resources: ["deployment", "deployment/scale"]
verbs: ["get", "watch", "list", "patch", "create", "delete"]
kubectl create clusterrolebinding clusterrole_tst --clusterrole=reader --user=tom
# 每创建一个sa，就会以此sa自动创建一个secret
kubectl create clusterrolebinding mybinding --clusterrole=reader --serviceaccount=default:sa-tst
# ns:sa_name
pod里的进程默认是defalut这个sa来运行
先创建user或者sa,然后再创建权限，再对权限和角色进行一个绑定
# 配置dashboard
1.先下载镜像
2. 创建pod
apiVersion: v1
kind: ServiceAccount
metadata:
labels:
k8s-app: kubernetes-dashboard
name: admin
namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: admin
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: admin
namespace: kube-system
3.# 复制token
kubectl describe secrets admin-token-w9vvf -n kube- system
4.把token复制到 kubeconfig文件最下面
kubectl describe secrets admin-token-6d5h5 -n kube-system
--------------------------------------------
资源限制
--------------------------------------------
在kubernetets系统上，1个单位的CPU相当于虚拟机上的一颗虚拟CPU (vCPU)
或者物理机上的一个超线程(HyperThread，或者称一个逻辑 CPU)，
它支持分数计量方式，一个核心(1 core)相当于1000个微核心 (millicores)，
因此500m相当于是0.5个核心，即二分之一个核心。
1.resources方式限制
request: # 资源要求的最小值
limits: # 资源要求的最大值
resources:
name: volume1
requests:
memory: "256Mi"
cpu: "500m"
limits:
memory: "512Mi"
cpu: "1000m"
2.limitRange
apiVersion: v1
kind: LimitRange
metadata:
name: mem-limit-range spec:
limits:
- default:
memory: 512Mi
defaultRequest:
memory: 256Mi
type: Container
3.resourcequota
# limitrange 用来限制每个pod的资源
# resourcequtoa 用来限制项目里可以使用多少资源
apiVersion: v1
kind: ResourceQuota
metadata:
name: compute-resources
spec:
hard: # 强制限制
pods: "4"
requests.cpu: "1"
requests.memory: 1Gi
limits.cpu: "2"
limits.memory: 2Gi
requests.nvidia.com/gpu: 4
configmaps: "10"
persistentvolumeclaims: "4"
replicationcontrollers: "20"
secrets: "10"
services: "10"
services.loadbalancers: "2"
--------------------------------------------
监控
--------------------------------------------
export收集数据 -》prometheus server数据汇总 -》grafana画图
helm fetch apphub/prometheus
不启用pvc，改成false
helm install --name=aaa .
修改clusterip为nodeport
搭建grafana
helm fetch azure/grafana --version=3.11.1
helm install --name=bbb .
修改clusterip为nodeport
--------------------------------------------
日志管理 ELK EFK
--------------------------------------------
Elasticsearch #是个开源分布式搜索引擎，存储日志及提供查询接口。
Logstash #是一个完全开源的工具，他可以对日志进行收集 发送给Elasticsearch.
Kibana #是一个开源和免费的，web界面的工具，可以让用户浏览Elasticsearch里的日志.
logstash性能低，消耗资源，且存在不支持消息队列缓存及存在数据丢失的问题
所以logstash一般可以用fluentd或者filebeat替代
下载需要的yaml文件
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/es-statefulset.yaml
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/es-service.yaml
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/fluentd-es-configmap.yaml
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/fluentd-es-ds.yaml
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/kibana-service.yaml
wget https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/a ddons/fluentd-elasticsearch/kibana-deployment.yaml
先部署elasticsearch，确保pod正常运行
再部署fluentd，确保pod正常运行
最后部署kibana
--------------------------------------------
CI/CD/devops
--------------------------------------------
CI-CD可持续交付
提交代码-》gitlab-》构建-》测试-》编译-》推送-》交付
gitlab+jenkins+registry
--------------------------------------------
StatefulSet 控制器 sts
--------------------------------------------
deployment的pod删除后会自动再次生成新的pod，新的pod不会用到原有的存储
sts创建的pod被删除后会继续使用原有的pod
deployment等控制器 --通过svc连接，连接的pod不固定
sts连接到固定的pod
启动和关闭按指定的顺序
sts:
连接不同的存储 如果就想访问某pod，而不是其他的pod(因为pod连接不同的存储)
无头服务(headless service)
pod的IP是可变化的，可以通过pod.svc来访问pod
ClusterIP=None
kubectl run busybox --rm -it --image=busybox:1.28.3 sh
--------------------------------------------
master负载均衡和高可用
--------------------------------------------
1.配置haproxy
2.配置三台ETCD
3.配置k8s集群
4.配置calico网络
--------------------------------------------
breeze部署k8s
--------------------------------------------
swapon -s # 关闭swap
yum install docker
systemctl enable docker --now
--------------------------------------------
exam train
--------------------------------------------
yum install bash-completion
vim /etc/profile
source <(kubectl completion bash)
以上内容自学记录，如有错误，还请指正。
love&peace
K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容
更多推荐
0
0- 0
已为社区贡献2条内容
所有评论(0)