使用二进制单机部署k8s 1.18.2

背景：对于k8s学习者，有一个真实的环境十分重要，但要用二进制搭建一个学习环境是一件十分复杂的过程，查了一下网上的文档，大多数都是几台服务器来搭建集群的，本文以一台机器搭用二进制的方法搭建一个简单的k8s集群。1、机器环境操作系统：centos 7虚拟机ip：192.168.225.1322、单机部署etcd1）下载etcd使用版本3.4.7，下载地址h...

一个平凡的农民工

3027人浏览 · 2020-05-05 19:17:33

一个平凡的农民工 · 2020-05-05 19:17:33 发布

背景：对于k8s学习者，有一个真实的环境十分重要，但要用二进制搭建一个学习环境是一件十分复杂的过程，查了一下网上的文档，大多数都是几台服务器来搭建集群的，本文以一台机器用二进制的方法搭建一个简单的k8s集群。

1、机器环境

操作系统： centos 7

虚拟机

ip：192.168.225.132

2、单机部署etcd

1）下载etcd

使用版本3.4.7 ，下载地址

https://github.com/etcd-io/etcd/releases/download/v3.4.7/etcd-v3.4.7-linux-amd64.tar.gz

2）解压后建立下图显示的目录结构

bin 存放解压出来的两个程序文件 etcd 和etcdctl，，所有执行文件需要在命令行使用chmod 777 文件名，赋予执行权限

cfg 存放配置文件

data 存放数据文件

ssl 存放自生成证书

3）安装生成https证书软件cfssl

curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl

curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson

curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo

4）在ssl目录生成相关https证书

首先，建立如下3个配置文件

新建etcd-ca-config.json，具体内容如下：

{

"signing": {

"default": {

"expiry": "87600h"

"profiles": {

"www": {

"expiry": "87600h",

"usages": [

"signing",

"key encipherment",

"server auth",

"client auth"

]

}

新建etcd-ca-csr.json，具体内容如下：
{

"CN": "etcd CA",

"key": {

"algo": "rsa",

"size": 2048

"names": [

{

"C": "CN",

"L": "Beijing",

"ST": "Beijing"

}

]

}

新建etcd-server-csr.json，具体内容如下，其中标红的ip地址为需要安装的机器ip地址和本地地址

{

"CN": "etcd",

"hosts": [

"192.168.225.132",

"127.0.0.1"

"key": {

"algo": "rsa",

"size": 2048

"names": [

{

"C": "CN",

"L": "BeiJing",

"ST": "BeiJing"

}

]

}

然后，在ssl目录下执行如下2条命令：

命令1:cfssl gencert -initca etcd-ca-csr.json | cfssljson -bare etcd-ca –

命令2:cfssl gencert -ca=etcd-ca.pem -ca-key=etcd-ca-key.pem -config=etcd-ca-config.json -profile=www etcd-server-csr.json | cfssljson -bare etcd-server

最终结果如下图，表示所有https证书生成成功

5）编写配置文件，在cfg目录下新建配置文件，文件名为etcd，具体内容如下，标红的ip地址要etcd-server-csr.json厘米设定的一致

#[Member]

ETCD_NAME="etcd01"

ETCD_DATA_DIR="/root/k8s/data/etcd" #数据保存路径

ETCD_LISTEN_PEER_URLS="https://192.168.225.132:2380"

ETCD_LISTEN_CLIENT_URLS="https://192.168.225.132:2379,http://127.0.0.1:2379"

#[Clustering]

ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.225.132:2380"

ETCD_ADVERTISE_CLIENT_URLS="https://192.168.225.132:2379"

#ETCD_INITIAL_CLUSTER="etcd01=https://192.168.225.132:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster-0"

ETCD_INITIAL_CLUSTER_STATE="new"

#具体https证书路径

ETCD_CERT_FILE="/root/k8s/ssl/etcd-server.pem"

ETCD_KEY_FILE="/root/k8s/ssl/etcd-server-key.pem"

ETCD_TRUSTED_CA_FILE="/root/k8s/ssl/etcd-ca.pem"

ETCD_CLIENT_CERT_AUTH="true"

ETCD_PEER_CERT_FILE="/root/k8s/ssl/etcd-server.pem"

ETCD_PEER_KEY_FILE="/root/k8s/ssl/etcd-server-key.pem"

ETCD_PEER_TRUSTED_CA_FILE="/root/k8s/ssl/etcd-ca.pem"

ETCD_PEER_CLIENT_CERT_AUTH="true"

6）编写服务启动文件，注意标红部分

使用命令：vi /usr/lib/systemd/system/etcd.service，录入如下配置内容：

[Unit]

Description=Etcd Server

After=network.target

After=network-online.target

Wants=network-online.target

[Service]

Type=notify

User=root

EnvironmentFile=-/root/k8s/cfg/etcd #配置文件所在路径

WorkingDirectory=/var/lib/etcd/ #手工预先建立的目录

ExecStart=/root/k8s/bin/etcd #程序执行文件所在目录

Restart=on-failure

LimitNOFILE=65536

[Install]

WantedBy=multi-user.target

7）启动etcd服务，在命令行输入如下命令：

systemctl daemon-relaod

systemctl start etcd

如果没有报错，可以使用systemctl status etcd查看服务最终结果，具体如下图

8）检查节点健康情况

首先，将etcd执行文件所在路径加入系统路径

在命令行输入命令：vim /etc/profile

在文件末尾添加 PATH=/root/k8s/bin:$PATH:$HOME

运行source /etc/profile 使配置生效

然后，运行 etcdctl --cacert=/root/k8s/ssl/etcd-ca.pem --cert=/root/k8s/ssl/etcd-server.pem --key=/root/k8s/ssl/etcd-server-key.pem --endpoints="https://192.168.225.132:2379" --write-out=table endpoint health

标红的ip 是etcd安装机器的ip

具体返回结果如下图，表示etcd安装完成

3、单机部署k8s

3．1部署前准备

1）关闭部署机器的防火墙

systemctl stop firewalld

systemctl disable firewalld

2）关闭selinux

临时关闭：setenforce 0

永久关闭：修改/etc/selinux/config文件中设置SELINUX=disabled

验证结果：getenforce

3）关闭 swap

临时关闭：swapoff -a

永久关闭： vi /etc/fstab 注释带swap行

验证结果：free -m 显示swap是0

4）关闭dnsmasq

service dnsmasq stop && systemctl disable dnsmasq

5）安装docker

首先，配置相关参数

cat > /etc/sysctl.d/kubernetes.conf <<EOF

net.ipv4.ip_forward=1

net.ipv4.tcp_tw_recycle=0

vm.swappiness=0

vm.overcommit_memory=1

vm.panic_on_oom=0

fs.inotify.max_user_watches=89100

fs.file-max=52706963

fs.nr_open=52706963

net.ipv6.conf.all.disable_ipv6=1

EOF

运行如下命令查看配置

sysctl -p /etc/sysctl.d/kubernetes.conf

然后，利用yum 安装docker，逐一执行如下命令

cd /etc/yum.repos.d/

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum clean all ;yum repolist -y

yum install docker-ce -y

systemctl start docker

systemctl enable docker

如果安装成功，可以使用systemctl status docker查看docker状态，具体如下图：

6）下载相关文件，建立相关目录

使用k8s版本为1.18.2，下载地址：

https://dl.k8s.io/v1.18.2/kubernetes-server-linux-amd64.tar.gz

解压后，建立如下的目录结构

bin 放置从压缩包解压出来的执行文件，所有执行文件需要在命令行使用chmod 777 文件名，赋予执行权限

cfg 配置文件

ssl 存放https证书文件

3.2部署master

1）在ssl目录生成相关https证书

新建 ca-csr.json，具体内容如下：

{

"CN": "kubernetes",

"key": {

"algo": "rsa",

"size": 2048

"names": [

{

"C": "CN",

"L": "HuBei",

"ST": "WuHan",

"O": "k8s",

"OU": "System"

}

]

}

新建ca-config.json，具体内容如下：

{

"signing": {

"default": {

"expiry": "876000h"

"profiles": {

"kubernetes": {

"expiry": "876000h",

"usages": [

"signing",

"key encipherment",

"server auth",

"client auth"

]

}

新建kube-proxy-csr.json，具体内容如下：

{

"CN": "system:kube-proxy",

"hosts": [],

"key": {

"algo": "rsa",

"size": 2048

"names": [

{

"C": "CN",

"L": "HuBei",

"ST": "WuHan",

"O": "k8s",

"OU": "System"

}

]

}

新建server-csr.json

{

"CN": "kubernetes",

"hosts": [

"10.0.0.1",

"127.0.0.1",

"kubernetes",

"kubernetes.default",

"kubernetes.default.svc",

"kubernetes.default.svc.cluster",

"kubernetes.default.svc.cluster.local",

"192.168.225.132",

"192.168.225.133",

"192.168.225.134"

"key": {

"algo": "rsa",

"size": 2048

"names": [

{

"C": "CN",

"L": "HuBei",

"ST": "WuHan",

"O": "k8s",

"OU": "System"

}

]

}

注：host中的最后几个IP为需要连接apiserver的IP，一般为master集群的所有IP，和负载均衡LB的所有IP和VIP，本文中的IP

"192.168.225.132", master部署机器ip

"192.168.225.133", 备用ip

"192.168.225.134". 备用ip

在ssl目录下运行如下3条命令，生成最终证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca –

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

执行 ll *.pem，会看到如下图红色框所表示的证书文件

2）建立相关组件的配置文件

在cfg目录陆续建立如下几个配置文件

建立api-server配置文件kube-apiserver.conf，具体内容如下：

KUBE_APISERVER_OPTS="--logtostderr=true \

--v=4 \

--log-dir=/root/k8scluster/data \

--etcd-servers=https://192.168.225.132:2379 \

--bind-address=192.168.225.132 \

--secure-port=6443 \

--advertise-address=192.168.225.132 \

--allow-privileged=true \

--service-cluster-ip-range=10.0.0.0/24 \ #服务ip网段

--enable-admission-plugins=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota,NodeRestriction \

--authorization-mode=RBAC,Node \

--enable-bootstrap-token-auth \

--token-auth-file=/root/k8scluster/cfg/token.csv \

--service-node-port-range=30000-50000 \ #可使用端口范围

--kubelet-client-certificate=/root/k8scluster/ssl/server.pem \ #https证书路径

--kubelet-client-key=/root/k8scluster/ssl/server-key.pem \ #https证书路径

--tls-cert-file=/root/k8scluster/ssl/server.pem \

--tls-private-key-file=/root/k8scluster/ssl/server-key.pem \ #https证书路径

--client-ca-file=/root/k8scluster/ssl/ca.pem \ #https证书路径

--service-account-key-file=/root/k8scluster/ssl/ca-key.pem \ #https证书路径

--etcd-cafile=/root/k8s/ssl/etcd-ca.pem \ #etcd https证书路径

--etcd-certfile=/root/k8s/ssl/etcd-server.pem \ #etcd https证书路径

--etcd-keyfile=/root/k8s/ssl/etcd-server-key.pem \ #etcd https证书路径

--audit-log-maxage=30 \

--audit-log-maxbackup=3 \

--audit-log-maxsize=100 \

--audit-log-path=/root/k8scluster/data/k8s-audit.log"

上面配置中token.csv内容如下：

4218903d0f96c61ce3be55a8f61639c4,kubelet-bootstrap,10001,"system:kubelet-bootstrap"

标红的token可以使用如下命令生成

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

建立kube-controller-manager的配置文件kube-controller-manager.conf，具体内容如下：

KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true \

--v=4 \

--log-dir=/root/k8scluster/data \

--master=127.0.0.1:8080 \ #访问api-server地址,为本地不安全地址

--leader-elect=true \

--address=127.0.0.1 \

--allocate-node-cidrs=true \

--cluster-cidr=10.244.0.0/16 \ #Pod的IP地址段

--service-cluster-ip-range=10.0.0.0/24 \ # service clusterIP段,跟kube-apiserver.conf

--cluster-name=kubernetes \

--cluster-signing-cert-file=/root/k8scluster/ssl/ca.pem \

--cluster-signing-key-file=/root/k8scluster/ssl/ca-key.pem \

--root-ca-file=/root/k8scluster/ssl/ca.pem \

--service-account-private-key-file=/root/k8scluster/ssl/ca-key.pem \

--experimental-cluster-signing-duration=87600h0m0s"

建立kube-scheduler配置文件kube-scheduler.conf，具体内容如下：

KUBE_SCHEDULER_OPTS="--logtostderr=true \

--v=4 \

--log-dir=/root/k8scluster/data \

--leader-elect \

--master=127.0.0.1:8080 \

--address=127.0.0.1"

3）建立各组件的服务启动文件

kube-apiserve服务启动配置文件

vi /usr/lib/systemd/system/kube-apiserver.service

[Unit]

Description=Kubernetes API Server

Documentation=https://github.com/kubernetes/kubernetes

[Service]

EnvironmentFile=/root/k8scluster/cfg/kube-apiserver.conf #配置文件所在路径

ExecStart=/root/k8scluster/bin/kube-apiserver $KUBE_APISERVER_OPTS #执行文件所在路径

Restart=on-failure

[Install]

WantedBy=multi-user.target

kube-controller-manager服务启动配置文件

vi /usr/lib/systemd/system/kube-controller-manager.service

[Unit]

Description=Kubernetes Controller Manager

Documentation=https://github.com/kubernetes/kubernetes

[Service]

EnvironmentFile=/root/k8scluster/cfg/kube-controller-manager.conf #配置文件所在路径

ExecStart=/root/k8scluster/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS #执行文件所在路径

Restart=on-failure

[Install]

WantedBy=multi-user.target

kube-scheduler服务启动配置文件

vi /usr/lib/systemd/system/kube-scheduler.service

[Unit]

Description=Kubernetes Scheduler

Documentation=https://github.com/kubernetes/kubernetes

[Service]

EnvironmentFile=/root/k8scluster/cfg/kube-scheduler.conf #配置文件所在路径

ExecStart=/root/k8scluster/bin/kube-scheduler $KUBE_SCHEDULER_OPTS #执行文件所在路径

Restart=on-failure

[Install]

WantedBy=multi-user.target

4）启动服务，运行如下命令

systemctl daemon-reload

systemctl start kube-apiserver

systemctl start kube-scheduler

systemctl start kube-controller-manager

如果一切正常，3个组件都会显示running状态

5）验证master组件安装情况

在/etc/profile末尾增加kubectl路径和相关环境变量

PATH=/root/k8s/bin:/root/k8scluster/bin:$PATH:$HOME

export KUBERNETES_MASTER="127.0.0.1:8080"

运行source /etc/profile使配置生效

最终/etc/profile末尾最后两行如下图红色框所示

在命令行运行kubectl get cs，最终结果如下图，表示master部署成功

3.3在master机器上部署node

1）生成node节点访问认证文件，在ssl目录编辑environment.sh脚步，具体内容如下：

# 创建kubelet bootstrapping kubeconfig

BOOTSTRAP_TOKEN=4218903d0f96c61ce3be55a8f61639c4 #token.csv中的token

KUBE_APISERVER=https://192.168.225.132:6443 #api-server访问地址

# 设置集群参数

kubectl config set-cluster kubernetes \

--certificate-authority=ca.pem \

--embed-certs=true \

--server=${KUBE_APISERVER} \

--kubeconfig=bootstrap.kubeconfig

# 设置客户端认证参数

kubectl config set-credentials kubelet-bootstrap \

--token=${BOOTSTRAP_TOKEN} \

--kubeconfig=bootstrap.kubeconfig

# 设置上下文参数

kubectl config set-context default \

--cluster=kubernetes \

--user=kubelet-bootstrap \

--kubeconfig=bootstrap.kubeconfig

# 设置默认上下文

kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

# 创建kube-proxy kubeconfig文件

kubectl config set-cluster kubernetes \

--certificate-authority=ca.pem \

--embed-certs=true \

--server=${KUBE_APISERVER} \

--kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \

--client-certificate=kube-proxy.pem \

--client-key=kube-proxy-key.pem \

--embed-certs=true \

--kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \

--cluster=kubernetes \

--user=kube-proxy \

--kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

运行脚本sh environment.sh，会生成3个新文件，分别是bootstrap.kubeconfig、kube-proxy.kubeconfig，为了方便将这2个文件复制到cfg目录

2）在cfg目录建立配置文件和配置模版

建立kubelet配置模版，文件名为kubelet.config，具体内容如下，标红ip为node ip地址

kind: KubeletConfiguration

apiVersion: kubelet.config.k8s.io/v1beta1

address: 192.168.225.132

port: 10250

readOnlyPort: 10255

cgroupDriver: cgroupfs

clusterDomain: cluster.local.

failSwapOn: false

authentication:

anonymous:

enabled: true

建立kubelet配置文件，文件名为kubelet，具体内容如下：

KUBELET_OPTS="--logtostderr=true \

--v=4 \

--hostname-override=192.168.225.132 \ #node节点ip

--kubeconfig=/root/k8scluster/cfg/kubelet.kubeconfig \ #接入认证文件路径

--bootstrap-kubeconfig=/root/k8scluster/cfg/bootstrap.kubeconfig \ #接入认证文件路径

--config=/root/k8scluster/cfg/kubelet.config \ #配置模版路径

--cert-dir=/root/k8scluster/ssl \ #证书存放路径

--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"

建立kube-proxy配置文件，文件名为kube-proxy，具体内容如下：

KUBE_PROXY_OPTS="--logtostderr=true \

--v=4 \

--hostname-override=192.168.225.132 \ #node节点ip

--cluster-cidr=10.0.0.0/24 \

--kubeconfig=/root/k8scluster/cfg/kube-proxy.kubeconfig" #接入认证文件路径

3）建立相关服务启动配置文件

kubelet服务配置文件

vi /usr/lib/systemd/system/kubelet.service

[Unit]

Description=Kubernetes Kubelet

After=docker.service

Requires=docker.service

[Service]

EnvironmentFile=/root/k8scluster/cfg/kubelet #配置文件所在路径

ExecStart=/root/k8scluster/bin/kubelet $KUBELET_OPTS #执行文件所在路径

Restart=on-failure

KillMode=process

[Install]

WantedBy=multi-user.target

kube-proxy服务配置文件

vi /usr/lib/systemd/system/kube-proxy.service

[Unit]

Description=Kubernetes Proxy

After=network.target

[Service]

EnvironmentFile=/root/k8scluster/cfg/kube-proxy #配置文件所在路径

ExecStart=/root/k8scluster/bin/kube-proxy $KUBE_PROXY_OPTS #执行文件所在路径

Restart=on-failure

[Install]

WantedBy=multi-user.target

4）审批node接入请求

在master机器上，本文master和node是在同一台机器依次执行如下命令：

运行kubectl create clusterrolebinding kubelet-bootstrap \

--clusterrole=system:node-bootstrapper \

--user=kubelet-bootstrap

运行 kubectl get csr 会看到以node开头的请求要求

运行 kubectl certificate approve node-csr-*通过请求

再运行kubectl get csr，csr 状态变为 Approved,Issued 即可

5）标记节点

稍等片刻，运行 kubectl get node，看到新加入的节点为Ready状态，运行如下命令标记节点为master

kubectl label node 192.168.225.132 node-role.kubernetes.io/master='master'

6）部署验证，编辑一个nginx-deployment.yml文件，尝试部署nginx

yml具体内容如下：

apiVersion: apps/v1

kind: Deployment

metadata:

name: nginx-deployment

labels:

app: nginx

spec:

replicas: 1

selector:

matchLabels:

app: nginx

template:

metadata:

labels:

app: nginx

spec:

containers:

- name: nginx

image: nginx:1.7.9

ports:

- containerPort: 80

运行命令kubectl apply -f nginx-deployment.yml

运行kubectl get pod –all-namespaces，具体结果如下图，能看到nginx-deployment的pod，表示单机部署k8s成功

7）异常排除

kubectl logs nginx-dbddb74b8-ft88w

Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( pods/log nginx-dbddb74b8-ft88w)

解决办法：

在master上面绑定一个角色

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

提示如下：

clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created

相当于把一个普通用户绑定到了管理员用户

K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 | 韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。长夜有穷，真水无香。领略过了 K8s“身在江

K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub