k8s 核心架构:https://www.kubernetes.org.cn/4291.html

• k8s 高可用2个核心 apiserver master 和 etcd

• etcd：（需高可用）集群的数据中心，用于存放集群的配置以及状态信息，非常重要，如果数据丢失那么集群将无法恢复；因此高可用集群部署首先就是etcd是高可用集群；

• Apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。整个集群中其他角色只有通过Apiserver才能访问etcd。CLI工具kubectl也是通过apiserver来对整体集群进行访问控制。

• Controller-manager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。一组k8s master上同一时间只有一个controller-manager角色进行工作，因为要避免控制冲突。

• Scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上。一组k8s master上同一时间只有一个scheduler角色进行工作，同样因为要避免控制冲突。

• Kubelet：负责pod对应的容器的创建、启停等任务，同时也负责Volume（CVI）和网络（CNI）的管理。

• kube-proxy: 每个node上一个，负责service vip到endpoint pod的流量转发和负载均衡，老版本主要通过设置iptables规则实现，新版1.9基于kube-proxy-lvs 实现

           访问部署在kubernetes集群中服务，有两种类型：

            集群内部实现访问

            集群外部实现访问

但是不管是集群内部还是外部访问都是要经过kube-proxy的

环境初始化

1.安装之前关闭所有节点的防火墙和selinux

systemctl stop firewalld

systemctl disable firewalld

[root@test ~]# getenforce

Disabled

master	172.20.103.1
node	172.20.103.2
node	172.20.103.3

---

master上部署的服务：etcd、kube-apiserver、kube-controller-manager、kube-scheduler

etcd服务：见笔记（etcd高可用集群）

etcd服务作为k8s集群的主数据库，在安装k8s各服务之前需要首先安装和启动

Master安装：

下载最新的二进制版本kubernetes-server-linux-amd64.tar.gz并解压缩，然后在解压缩文件中，找到./kubernetes/server/bin包含所有必需的二进制文件的文件。

如果用https协议下载报错，可以用http方式连接，使用“--no-check-certificate”

wget  https://storage.googleapis.com/kubernetes-release/release/v1.14.2/kubernetes-server-linux-amd64.tar.gz

tar -zxf kubernetes-server-linux-amd64.tar.gz

cd /opt/kubernetes/server/bin

cp kube-apiserver kube-controller-manager  kube-scheduler kubectl  /usr/bin/ 

创建master端主配置文件：

创建存放配置文件的目录

mkdir -p /etc/kubernetes

mkdir -p /etc/kubernetes/logs

kube-apiserver 服务

创建kube-apiserver的systemd配置文件：vim /usr/lib/systemd/system/kube-apiserver.service

[Unit]

Description=Kubernetes API Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=etcd.service

Wants=etcd.service

[Service]

EnvironmentFile=-/etc/kubernetes/apiserver

ExecStart=/usr/bin/kube-apiserver $KUBE_API_ARGS

Restart=on-failure

Type=notify

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

配置文件/etc/kubernetes/apiserver的内容包括了kube-apiserver的全部启动参数，主要的配置参数在变量KUBE_API_ARGS中指定。

vim  /etc/kubernetes/apiserver

KUBE_API_ARGS="--etcd-servers=http://127.0.0.1:2379  --insecure-bind-address=0.0.0.0  --insecure-port=8080  --service-cluster-ip-range=169.169.0.0/16  --service-node-port-range=1-65535  --enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,DefaultTolerationSeconds,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,ResourceQuota  --logtostderr=false  --log-dir=/etc/kubernetes/logs  --v=0"

启动参数说明如下：

--storage-backend：指定etcd的版本，从k8s1.6开始，默认为etcd3。在1.6之前的版本中没有这个参数，kube-apiserver默认使用etcd2。

--etcd-servers：指定etcd服务的URL

--insecure-bind-address：api server绑定主机的非安全IP地址，设置0.0.0.0表示绑定所有IP地址

--insecure-port：api server绑定主机的非安全端口号，默认为8080

--service-cluster-ip-range：k8s集群中service的虚拟IP地址范围，该IP范围不能与物理机的IP地址有重合。以CIDR格式表示，例如169.169.0.0/16 。

--service-node-port-range：k8s集群中service可使用的物理机端口号范围，默认值30000~32767。

--enable-admission-plugins：k8s集群的准入控制设置，各控制模块以插件的形式依次生效。

--logtostderr：设置为false表示将日志写入文件，不写入stderr。

--log-dir：日志目录

--v：日志级别

kube-controller-manager 服务

kube-controller-manager服务依赖于kube-apiserver服务

创建kube-controller-manager的systemd配置文件：vim /usr/lib/systemd/system/kube-controller-manager.service

[Unit]

Description=Kubernetes Controller Manager

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=kube-apiserver.service

Requires=kube-apiserver.service

[Service]

EnvironmentFile=/etc/kubernetes/controller-manager

ExecStart=/usr/bin/kube-controller-manager  $KUBE_CONTROLLER_MANAGER_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

配置文件/etc/kubernetes/controller-manager的内容包含了kube-controller-manager的全部启动参数，主要的配置参数在变量KUBE_CONTROLLER_MANAGER_ARGS中指定：

vim /etc/kubernetes/controller-manager

KUBE_CONTROLLER_MANAGER_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig  --logtostderr=false  --log-dir=/etc/kubernetes/logs  --v=0"

启动参数说明如下：

--kubeconfig：设置与api server 连接的相关配置，vim /etc/kubernetes/kubeconfig

apiVersion: v1

kind: Config

users:

- name: client

clusters:

- name: default

  cluster:

    server: http://api_server_ip:8080

contexts:

- context:

    cluster: default

    user: client

  name: default

current-context: default

--logtostderr：设置为false表示将日志写入文件，不写入stderr。

--log-dir：日志目录

--v：日志级别

kube-scheduler 服务

kube-scheduler 服务也依赖于kube-apiserver服务

创建kube-scheduler的systemd配置文件：vim /usr/lib/systemd/system/kube-scheduler.service

[Unit]

Description=Kubernetes Scheduler Plugin

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=kube-apiserver.service

Requires=kube-apiserver.service

[Service]

EnvironmentFile=/etc/kubernetes/scheduler

ExecStart=/usr/bin/kube-scheduler  $KUBE_SCHEDULER_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

配置文件/etc/kubernetes/scheduler 的内容包含了kube-scheduler 的全部启动参数，主要的配置参数在变量KUBE_SCHEDULER_ARGS 中指定：

vim  /etc/kubernetes/scheduler

KUBE_SCHEDULER_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig  --logtostderr=false  --log-dir=/etc/kubernetes/logs  --v=0"

启动参数说明如下：

--kubeconfig：设置与api server 连接的相关配置，可以与kube-controller-manager使用的kubeconfig 文件相同。

--logtostderr：设置为false表示将日志写入文件，不写入stderr。

--log-dir：日志目录

--v：日志级别

启动服务

搭建完成之后先启动etcd然后在启动其他服务，执行systemctl start 命令按顺序启动这3个服务，同时使用systemctl enable命令将服务加入开机启动列表中。

systemctl daemon-reload

systemctl enable kube-apiserver kube-controller-manager kube-scheduler

systemctl start kube-apiserver

systemctl start kube-controller-manager

systemctl start kube-scheduler

查看服务启动状态

systemctl status kube-apiserver kube-controller-manager kube-scheduler

至此，kubernetes master上所需的服务就全部启动完成了。

如果搭建集群，我们在三台master主机上重复以上搭建步骤，注意配置文件中需要修改IP地址的地方，以及需要先启动etcd，然后依次启动kube-apiserver,kube-controller-manager,kube-scheduler。

验证master上组件健康：kubectl get cs

[root@test ~]# kubectl get cs

NAME                 STATUS    MESSAGE              ERROR

scheduler            Healthy   ok                  

controller-manager   Healthy   ok                  

etcd-0               Healthy   {"health": "true"}  

---

Node上部署的服务：kubelet、kube-proxy、flannel（网络组建）

在node上需要预先安装好docker,先别启动，等配置好fannel之后再启动。

yum -y install docker

yum -y install flannel

编辑配置文件 vim  /etc/sysconfig/flanneld 设置etcd的url地址

FLANNEL_ETCD_ENDPOINTS="http://172.20.103.1:2379"        #flannel从etcd中读取配置

FLANNEL_ETCD_PREFIX="/coreos.com/network"                     #/coreos.com/network 是master端etcd网络授权的文件，这个需要在启动flanneld之前在master端手动生成

在启动flanneld 服务之前，需要在master端etcd中添加一条网络配置记录，这个配置将用于flanneld分配给每个docker的虚拟ip地址段。

etcdctl set /coreos.com/network/config  '{"Network":"10.10.0.0/16"}'

查看是否添加成功

etcdctl get /coreos.com/network/config

由于flannel将覆盖docker0网桥，所以如果docker服务已经启动，则需要先停止docker服务。

systemctl enable flanneld

systemctl start flanneld

systemctl enable docker

我们可以在etcd中查看flannel设置的地址与物理机IP地址的对应规则：

etcdctl ls /coreos.com/network/subnets

etcdctl get /coreos.com/network/subnets/10.10.92.0-24

tar -zxf kubernetes-server-linux-amd64.tar.gz

cd /opt/kubernetes/server/bin

cp kubelet kube-proxy  /usr/bin/ 

创建Node端主配置文件

创建存放配置文件的目录

mkdir -p /etc/kubernetes

mkdir -p /etc/kubernetes/logs

kubelet服务

kubelet是Master在Node节点上的Agent，管理本机运行容器的生命周期，比如创建容器、 Pod挂载数据卷、下载secret、获取容器和节点状态等工作。 kubelet将每个Pod转换成一组容器。

kube-proxy在Node节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。

kubelet服务依赖于docker 服务

创建kubelet的systemd 服务配置文件 vim /usr/lib/systemd/system/kubelet.service

[Unit]

Description=Kubernetes Kubelet Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=docker.service

Requires=docker.service

[Service]

WorkingDirectory=/var/lib/kubelet

EnvironmentFile=/etc/kubernetes/kubelet

ExecStart=/usr/bin/kubelet  $KUBELET_ARGS

Restart=on-failure

[Install]

WantedBy=multi-user.target

其中，WorkingDirectory 表示kubelet保存数据的目录，需要在启动kubelet 服务之前创建。

mkdir -p /var/lib/kubelet

配置文件/etc/kubernetes/kubelet 的内容包含了kubelet 的全部启动参数，主要的配置参数在变量KUBELET_ARGS 中指定：

vim /etc/kubernetes/kubelet

KUBELET_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig  --fail-swap-on=false  --cgroup-driver=systemd  --hostname-override=172.20.103.2  --logtostderr=false  --log-dir=/etc/kubernetes/logs  --v=0"

启动参数说明如下：

--kubeconfig：设置与api server 连接的相关配置，可以与kube-controller-manager使用的kubeconfig 文件相同。

--fail-swap-on=false：设置为true表示如果主机启用了swap，kubelet组件将无法启动，默认值为true。Kubernetes v1.8+ 要求关闭系统 Swap，若不关闭则需要修改kubelet设定参数。

--cgroup-driver=systemd：用于操作本机cgroup的驱动模式，支持groupfs或者systemd，默认值为cgroupfs。docker使用的文件驱动默认systemd, 两边不一致会导致kubelet组件无法启动。

vim /etc/kubernetes/kubeconfig

apiVersion: v1

kind: Config

users:

- name: client

clusters:

- name: default

  cluster:

    server: http://api_server_ip:8080

contexts:

- context:

    cluster: default

    user: client

  name: default

current-context: default

--hostname-override：设置本node的名称

--logtostderr：设置为false表示将日志写入文件，不写入stderr。

--log-dir：日志目录

--v：日志级别

kube-proxy 服务

kube-proxy 服务依赖于network 服务

创建kube-proxy的systemd配置文件 vim /usr/lib/systemd/system/kube-proxy.service

[Unit]

Description=Kubernetes Kube-Proxy Server

Documentation=https://github.com/GoogleCloudPlatform/kubernetes

After=network.target

Requires=network.service

[Service]

EnvironmentFile=/etc/kubernetes/proxy

ExecStart=/usr/bin/kube-proxy  $KUBE_PROXY_ARGS

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

配置文件/etc/kubernetes/proxy内容包括了kube-proxy的全部启动参数，主要的配置参数在变量 KUBE_PROXY_ARGS 中指定。

vim /etc/kubernetes/proxy

 

KUBE_PROXY_ARGS="--kubeconfig=/etc/kubernetes/kubeconfig  --logtostderr=false  --log-dir=/etc/kubernetes/logs  --v=2"

启动参数说明如下：

--kubeconfig：设置与api server 连接的相关配置，可以与kube-controller-manager使用的kubeconfig 文件相同。

--logtostderr：设置为false表示将日志写入文件，不写入stderr。

--log-dir：日志目录

--v：日志级别

配置完成后，启动服务

systemctl daemon-reload

systemctl enable kubelet kube-proxy

systemctl start kubelet kube-proxy

systemctl status kubelet kube-proxy

kubelet 默认采用向master自动注册本node的机制，在master上查看各node的状态，状态为ready表示node已经成功注册并且状态为可用：

kubectl get nodes