K8S学习----集群调度/节点亲和性/污点和容忍
1、掌握集群调度的过程2、学会节点亲和性的设置和作用3、掌握污点和容忍的设置和作用
学习目标:
1、掌握集群调度的过程
2、学会节点亲和性的设置和作用
3、掌握污点和容忍的设置和作用
学习内容:
调度过程说明
简介
scheduler是kubernetes的调度器,主要的任务是把定义的pod分配到集群的节点上,听起来非常简单,但有很多要考虑的问题:
- 公平:如何保证每个节点都能被分配资源
- 资源高效利用:集群所有资源最大化利用
- 效率:调度的性能要好,能够尽快的对大批量的pod完成调度工作
- 灵活:允许用户根据自己的需求控制调度的逻辑
scheduler是作为单独的程序运行的,启动之后会一直持续连接API Server,获取podSpec.Nodename为空的pod,对每个pod都会创建一个binding,表明该pod应该放到哪个节点上
调度过程
调度分为几个部分:首先是过滤掉不满足条件的节点,这个过程称为predicate;然后对通过的节点按照优先级排序,这个是priority;最终从中选择优先级最高的节点,如果中间任何一步骤有错误,就直接返回错误
Predicate有一系列的算法可以使用:
- PodFitsResources:节点上剩余的资源是否大于pod请求的资源
- PodFitsHost:如果pod指定了NodeName,检查节点名称是否和NodeName匹配
- PodFitsHostPorts:节点上已经使用的port是否和pod申请的pod冲突
- PodSelectorMatches:过滤掉个pod指定的lable不匹配的节点
- NoDiskConflick:已经mount的volume和pod指定的volume不冲突,除非他们都是只读
如果在predicate过程中没有合适的节点,pod会一直在pending状态,不断重试调度,直达有节点满足条件,经过这个步骤,如果有多个节点满足条件,就继续priority过程,按照优先级大小对节点排序
优先级由一系列键值对组成,键是该优先级项的名称,值是它的权重(该项的重要性)。这些优先级选项包括:
- LeastReuqestedPriority:通过计算CPU和Memory的使用率来决定权重,使用率越低权重越高,换句话说,这个优先级指标倾向于资源使用率比例较低的节点
- BalancedResourceAllocation:节点上CPU和Memory使用率越接近,权重越高,这个应该和上面的一起使用,不应该单独使用
- ImageLocalityPriority:倾向于已经有使用的镜像的节点,镜像总大小越大,权重越大
通过算法对所有的优先级项目和权重进行计算,得出最终的结果
节点亲和性
pod.spec.nodeAffinity
- preferredDuringSchedulingIgnoredDuringExecution:软策略
- requiredDuringSchedulingIgnoredDuringExecution:硬策略
requiredDuringSchedulingIgnoredDuringExecution
apiVersion: v1
kind: pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: nginx:v1
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: kubernetes.io/hostname
operator: NotIn
values:
- k8s-node01
preferredDuringSchedulingIgnoredDuringExecution
apiVersion: v1
kind: pod
metadata:
name: affinity
labels:
app: node-affinity-pod
spec:
containers:
- name: with-node-affinity
image: nginx:v1
affinity:
nodeAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: kubernetes.io/hostname
operator: In
values:
- k8s-node03
键值运算关系
- In:label的值在某个列表中
- NotIn:label的值不在某个列表中
- Gt:label的值大于某个值
- Lt:label的值小于某个值
- Exsits:某个label存在
- DoesNotExsit:某个label不存在
##如果nodeSelectorTerms
下面有多个选项的话,满足任何一个条件就可以了,如果matchExpressions
有多个选项的话,则必须同时满足这些条件才能正常调度pod
Pod亲和性
pod.spec.affinity.podAffinity/podAntiAffinity
- preferredDuringSchedulingIgnoredDuringExecution:软策略
- requiredDuringSchedulingIgnoredDuringExecution:硬策略
apiVersion: v1
kind: Pod
metadata:
name: pod-3
labels:
app: pod-3
spec:
containers:
- name: pod-3
image: nginx:v1
affinity:
podAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelectors:
matchExpressions:
- key: app
operator: In
values:
- pod-1
topologyKey: kubernetes.io/hostname
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- pod-2
topologyKey: kubernetes.io/hostname
亲和性/反亲和性调度策略比较如下:
Taint和Toleration
节点亲和性,是pod的一种属性(偏好或硬性要求),它使pod被吸引到一类特定的节点,taint则相反,它使节点能够排斥一类特点的pod
taint和toleration相互配合,可以用来避免pod被分配到不合适的节点上,每个节点上都可以应用一个或多个taint,这表示对于那些不能容忍这些taint的pod,是不会被该节点接手的,如果将toleration应用于pod,则表示这些pod可以(但不要求)被调度到具有匹配taint的节点上
Taint(污点)
- 污点(taint)的组成
使用 kubectl taint
命令可以给某个node节点设置污点,node被设置上污点之后就和pod之间存在一种相斥的关系,可以让node拒绝pod的调度执行,甚至将node上已经存在的pod驱逐出去
每个污点的组成如下:
key=value:effect
每个污点有一个key和value作为污点的标签,其中value可以为空,effect描述污点的作用,当前taint effect支持如下三个选项:
- NoSchedule:表示K8S不会将pod调度具有该污点的node上
- preferNoSchedule:表示K8S将尽量避免将pod调度到具有该污点的node上
- NoExecute:表示K8S将不会将pod调度到具有该污点的node上,同时会将node上已经存在的pod驱逐出去
- 污点的设置、查看和去除
#设置污点
kubectl taint nodes node1 key1=value:Noschedule
#节点说明中查找taints字段
kubectl describe pod pod-name
#去除污点
kubectl taint nodes node1 key1:Noschedule-
容忍(Tolerations)
设置了污点的node将根据taint的effect:NoSchedule、preferNoSchedule、NoExecute和pod之间产生互斥的关系,pod将在一定程度上不会被调度到node上,但我们可以在pod上设置容忍(toleration),意思是设置了容忍的pod将可以容忍污点的存在,可以被调度到存在污点的node上
tolerations:
- key: "key1"
operator: "Equal"
value: "value1"
effect: "NoSchedule"
tolerationSeconds: 3000
- key: "key1"
operator: "Equal"
value: "value1"
effect: "NoExecute"
- key: "key2"
operator: "Exsits"
effect: "NoSchedule"
- 其中key、value、effect要与node上设置的taint保持一致
- operator的值为Exsits将会忽略value值
- tolerationSeconds用于描述当pod需要被驱逐时可以在pod上继续保留运行的时间
1. 当不指定key值时,表示容忍所有的污点key:
tolerations:
- operator: "Exsits"
2. 当不指定effect值时,表示容忍所有的污点作用:
tolerations:
- key: "key1"
operator: "Exsits"
3. 有多个master存在时,防止资源浪费,可以如下设置:
kubectl taint nodes Node-name node-role.kubernetes.io/master=:PreferNoSchedule
指定节点调度
- Pod.spec.nodename将pod直接调度到指定的node节点上,会跳过Schedule的调度策略,该匹配规则是强制匹配
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: myweb
spec:
replicas: 7
template:
metadata:
labels:
app: myweb
spec:
nodename: k8s-node01
containers:
- name: myweb
image: nginx:v1
ports:
- containerPort: 80
- Pod.spec.nodeSelector:通过kubernetes的label-selector机制选择节点,由调度器调度策略匹配label,而后调度pod到目标节点,该匹配规则属于强制约束
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: myweb
spec:
replicas: 7
template:
metadata:
labels:
app: myweb
spec:
nodeSelector:
disk: ssd
containers:
- name: myweb
image: nginx:v1
ports:
- containerPort: 80
更多推荐
所有评论(0)