机制说明

kubernetes作为一个分布式集群的管理工具，保证集群的安全性是一个重要的任务。API server是集群内部各个组件通信的中介，也是外部控制的入口。所以kubernetes的安全机制基本就是围绕保护API server来设计的。kubernetes使用了认证(Authentication)、鉴权(Authorization)、准入控制(AdmissionControl)三步来保证API server的安全

Authentivation(认证)
1、HTTP Token认证：通过一个token来识别合法用户

HTTP Token的认证是用一个很长的特殊编码方式的并且难以被模仿的字符串-Token来表达客户的一种方式。Token是一个很长很复杂的字符串。每一个Token对应一个用户名存储在API Server能访问的文件中。当客户端发起API调用请求时，需要在HTTP Header里放入Token

2、HTTP Base认证：通过用户名+密码的方式认证

用户名+密码用BASE64算法进行编码的字符串放在HTTP Request中的Heather Authorization域里发送给服务端，服务端收到后进行编码，获取用户名及密码

3、最严格的HTTPS证书认证：基于CA根证书签名的客户端身份认证反方式
HTTPS证书认证过程如下图

在devuser用户下执行

两种类型

1、kubernetes组件对API Server的访问：kubectl、Controller Manager、Scheduler、kubelet、kube-proxy
2、kubernetes管理的Pod对容器的访问：Pod(dashborad也是以Pod的形式运行)

安全性说明

1、Controller Manager、Scheduler与API Server在同一台机器，所以直接使用API Server的非安全端口访问，–insecure-bind-address=127.0.0.1
2、kubectl、kubelet、kube-proxy访问API Server就都需要证书进行HTTPS双向认证

证书颁发

1、手动签发：通过k8s集群跟ca进行签发HTTPS证书
2、自动签发：kubelet首次访问API Server时，使用token做认证，通过后，Controller Manager会为kubelet生成一个证书，以后的访问都是用证书做认证

kubeconfig

kubeconfig文件包含集群参数(CA证书、API Server地址)，客户端参数(上面生成的证书和私钥)，集群context信息(集群名称，用户名)。kubernetes组件通过启动时指定不同的kubeconfig文件可以切换到不同的集群

ServiceAccount

Pod中的容器访问API Server。因为Pod的创建、销毁是动态的，所以要为它手动生成证书就不行了。kubernetes使用了Service Account解决pod访问api server的认证问题

Secret与SA的关系

kubernetes设计了一种资源对象叫做Secret分为两类，一种是用于ServiceAccount的service-account-token，另一种是用于保存用户自定义保密信息的Opaque。ServiceAccount中用到包含三个部分：Token、ca.crt、namespace
1、token是使用api server私钥签名的JWT。用于访问API Server时，server端认证
2、ca.crt，根证书。用于Client端验证API Server发送的证书
3、namespace，标识这个service-account-token的作用域名空间

注意：Json web token(JWT),是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准(【RFC 7519】)，该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录(sso)场景，JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以郑家一些额外的其它业务逻辑所必须的声明信息，该token也可以直接被用于认证，也可以被加密

默认情况下，每个namespace都会有一个ServiceAccount，如果Pod在创建时没用指定ServiceAccount就会使用pod所属namespace的serviceaccount
默认目录：/run/secrets/kubernetes.io/serviceaccount下默认情况下，每个namespace都会有一个ServiceAccount，如果Pod在创建时没用指定ServiceAccount就会使用pod所属namespace的serviceaccount
默认目录：/run/secrets/kubernetes.io/serviceaccount下

总结如下图

鉴权

上面认证过程，只是确认通信的双方都确认了对方是可信的，可以相互通信。而鉴权是确定请求方有哪些资源的权限。API Server目前支持以下几种授权策略(通过API Server的启动参数“–authorization-mode”设置)

1、AlwaysDeny：表示拒绝所有的请求，一般用于测试
2、AlwayAllow：允许接收所有请求，如果集群不需要授权流程，则可以采用该策略
3、ABAC(Attribute-Based Access Control)：基于属性的访问控制，表示使用用户配置的授权规则对用户请求进行匹配和控制
4、Webbook：通过调用外部REST服务对用户进行授权
5、RBAC(Role-Based Access Control)：基于角色的访问控制，现行默认规则

RBAC授权模式

RBAC(Role-Based Access Control)基于角色的控制，在kubernetes1.5中引入，现行版本成为默认标志。相对其他访问控制方式，有如下优势
1、对集群中的资源和非资源均拥有完整的覆盖
2、整个RBAC完全由几个API对象完成，同其他API对象一样，可以用kubectl或API进行操作
3、可以在运行时进行调整，无需重启API Server

RBAC的API资源对象说明

RBAV引入了4个新的顶级资源对象：Role、ClusterRole、RoleBinding、ClusterRoleBinding，四种对象类型均可他通过kubectl与API操作

注意

kubernetes不会提供用户管理，那么user、group、ServiceAccount指定的用户又是从哪里来呢？kubernetes组件(kubectl，kube-proxy)或是其他自定义的用户在向CA申请证书时，需要提供一个证书请求

{
   "CN": "admin"
   "host": [],
   "key": {
     "algo": "rsa",
     "size": 2048
   },
   "names": [
     {
       "C": "CN",
       "ST": "HangZhou",
       "L": "XS",
       "O": "system:masters",
       "OU": "System"
     }
   ]
}

API Server会吧客户端证书的CN字段作为user，把name.O字段作为Group

kubelet使用TLS Bootstaping认证时，API Server可以使用Bootstrap Tokens或者Token authentication file验证token，无论是哪一种，kubernetes都会为token绑定一个默认的user和group
Pod使用ServiceAccount认证时，service-account-token中的JWT会保存user信息
有了用户信息，再创建一对(角色/角色绑定/集群角色/集群角色绑定资源)对象

Role and ClusterRole
Role

在RBAC API中，Role表示一组规则权限，权限只会增加(累加权限)，不存在一个资源一开始就有很多权限而通过RBAC对其进行减少的操作；Role可以定义在一个namespace中，如果想要跨namespace则可以创建ClusterRole

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: pod-reader
  namespace: default
rules:
- apiGroups: [""] # "" indicates the core API group
  resources: ["pods"]
  verbs: ["get", "watch", "list"]

ClusterRole

ClusterRole具有与Role相同的权限角色控制能力，不同的是ClusterRole是集群级别的，ClusterRole可以用于
1、集群级别的资源控制(例如node访问权限)
2、非资源型endpoints(例如/healthz访问)
3、所有命名空间资源控制(例如pods)

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRole
metadata:
  name: pod-reader
rules:
- apiGroups: [""] 
  resources: ["secrets"]
  verbs: ["get", "watch", "list"]

RoleBinding and ClusterRoleBinding

RoleBinding可以讲角色中定义的权限授予用户或者用户组，RoleBinding包含一组权限列表(subjects)，权限列表中含有不同形式的待授予权限资源类型(users、groupes、or service、accounts)；RoleBinding同样包含对bind的Role引用；RoleBinding适用于某个命名空间内授权，而ClusterRoleBinding适用于集群范围内的授权

将default命名空间的pod-reader Role授予jane用户，此后jane用户在default命名空间中将具有pod-reader权限

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: read-pods
  namespace: default
subjects:
- kind: user
  name: jane
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: Role
  name: pod-reader
  apiGroup: rbac.authorization.k8s.io

RoleBinding同样可以引用ClusterRole来对当前namespace内用户、用户组或者ServiceAccount进行授权，这种操作允许集群管理员在整个集群内定义一些通用的ClusterRole，然后在不同的namespace中使用RoleBinding来引用

例如，以下RoleBinding引用了一个ClusterRole，这个ClusterRole具有整个集群内对secrets的访问权限；但是其授权用户dave只能访问devement空间中的secrets(因为RoleBinding定义在devemen命名空间)

apiVersion: rbac.authorization.k8s.io/v1beta1
kinde: RoleBinding
metadata:
  name: read-secrets
  namespace: development
subjects:
- kind: User
  name: dave
  apiGroup: rbac.anthorization.k8s.io
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.anthorization.k8s.io

ClusterRoleBinding

使用ClusterRoleBinding可以对整个集群中的所有命名空间资源权限进行授权；以下ClusterRoleBinding样列。展示了授权manager组内所有用户在全部命名空间对secrets进行访问

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
  name: read-secrets-global
subjects:
- kind: Group
  name: manager
  apiGroup: rbac.anthorization.k8s.io
roleRef:
  kind: ClusterRole
  name: secret-reader
  apiGroup: rbac.anthorization.k8s.io

Resource

kubernetes集群内一些i资源一般以其名称字符串来表示，这些字符串一般会在API的URL地址中出现；同时某些资源会包含子资源，例如logs资源就属于pods的子资源，API中URL样列如下

GET /api/v1/namespaces/{namespace}/pods/{name}/log

如果要在RBAC授权模型中控制这些子资源的访问权限，可以通过 / 分隔符来实现，以下是一个定义pods资源logs访问权限的Role定义样列

apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: pod-and-pod-logs-reader
  namespace: default
rules:
- apiGroup: [""]
  resources: ["pods", "pods/log"]
  verbs: ["get", "list"]

示例：创建一个用户只能管理dev命名空间
下载证书生成工具

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
chmod +x cfssl_linux-amd64
sudo mv cfssl_linux-amd64 /usr/local/bin/

wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
chmod +x cfssljson_linux-amd64
sudo mv cfssljson_linux-amd64 /usr/local/bin/

wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl-certinfo_linux-amd64
sudo mv cfssl-certinfo_linux-amd64 /usr/local/bin/

编写devuser-csr.json文件

{
 "CN": "chlj",
 "hosts": [],
 "key": {
   "algo": "rsa",
   "size": 2048
 },
 "names": [
   {
     "C": "CN",
     "ST": "BeiJing",
     "L": "BeiJing",
     "0": "k8s",
     "0U": "system"
   }

 ]
}

生成证书文件

在/etc/kubernetes/pik生成
cfssl_linux-amd64 gencert -ca=ca.crt -ca-key=ca.key -profile=kubernetes /home/devuser/cart/devuser-csr.json | cfssljson_linux-amd64 -bare devuser

设置集群参数

export KUBE_APISERVER="https://192.168.241.127:6443"//声明apiserver访问地址
kubectl config set-cluster kubernetes --certificate-authority=/etc/kubernetes/pki/ca.crt --embed-certs=true --server=${KUBE_APISERVER} --kubeconfig=devuser.kubeconfig

设置客户端认证参数

kubectl config set-credentials devuser --client-certificate=/etc/kubernetes/pki/devuser.pem --client-key=/etc/kubernetes/pki/devuser-key.pem --embed-certs=true --kubeconfig=devuser.kubeconfig

设置上下文参数

kubectl config set-context kubernetes --cluster=kubernetes --user=devuser --namespace=dev --kubeconfig=devuser.kubeconfig

创建一个rolebinding

kubectl create rolebinding devuser-admin-binding --clusterrole=admin --user=devuser --namespace=dev
在devuser用户下创建 .kube文件夹将
cp   /home/devuser/cart/devuser.kubeconfig  /home/devuser/.kube下
chown devuser.devuser /home/devuser/.kube/ 赋予权限
mv /home/devuser/.kube/devuser.kubeconfig     config

设置上下文

在devuser用户下执行
kubectl config use-context kubernetes --kubeconfig=/home/devuser/.kube/config  

验证

kubectl run nginx --image=nginx  创建pod验证，在root用户查看and在devuser用户下查看