部署Harbor仓库Https认证+单节点k8s集群部署（kubeadm）

---

  • 实验环境：
    • 搭建了一台 master 节点，两个 node 节点，以及一个 Harbor 镜像仓库。
192.168.133.128        master.ashm.com
192.168.133.130        node1.ashm.com
192.168.133.131        node2.ashm.com
192.168.133.132        harbor.ashm.com
  • 证书的生成和使用：
    • 自建 CA 证书：
      • 签发 Harbor 服务器证书，确保 Harbor 服务器在网络中的身份是可信的。
    • Harbor 服务器证书：
      • 配置在 Harbor 服务器上，启用 HTTPS 通信，保证从客户端到服务器的数据传输是加密的。
    • Docker 客户端证书：
      • 部署在 Docker 客户端（如 master 和 node 节点），确保这些客户端在与 Harbor 服务器通信时能够验证服务器的身份，并且通信数据是加密的。

生成三个不同的证书是为了满足不同角色和通信路径的安全需求。通过这种方式，实验环境中的各个组件（master 节点、node 节点、Harbor 服务器）能够进行安全的身份验证和数据加密通信，确保整个系统的安全性和完整性。

  1. 自建 CA 证书（ca/ca.crt）：

    • 用途：作为根证书，用于签发其他证书。
    • 必要性：自建 CA 证书是信任链的根，通过它可以创建和签发受信任的服务器和客户端证书。在内部网络中，自建 CA 可以节省成本，并且提供灵活的证书管理。

  2. Harbor 服务器证书（server/harbor.ashm.com.crt 和 server/harbor.ashm.com.cert）：

    • 用途：用于 Harbor 服务器的 HTTPS 通信。
    • 必要性：服务器证书确保客户端（如 Docker 客户端）与 Harbor 服务器之间的通信是加密且安全的。服务器证书由自建 CA 签发，保证了证书的信任。

  3. Docker 客户端证书：

    • 用途：用于 Docker 客户端与 Harbor 服务器之间的安全通信。
    • 必要性：客户端证书确保 Docker 客户端可以安全地与 Harbor 服务器通信，避免中间人攻击和未授权的访问。客户端证书通常包括服务器证书和 CA 证书，确保客户端可以验证服务器的身份。

证书CSR 和 CRT 的区别(相关阅读)

在数字证书的生成和使用过程中，CSR（Certificate Signing Request）和 CRT（Certificate）是两个关键组件，它们有不同的用途和生成过程。下面是它们的详细区别：

1. CSR（Certificate Signing Request）

定义

  • CSR 是证书签名请求。它包含了申请者的公钥以及相关的识别信息，如域名、组织名等。

主要用途

  • 请求证书：CSR 是向证书颁发机构（CA）申请证书时所需提交的文件。它提供了 CA 所需的信息，以便签发证书。

生成过程

  • 生成私钥：首先生成一对密钥（私钥和公钥）。
  • 创建 CSR：使用私钥生成 CSR 文件，包含公钥和其它身份信息。
    openssl req -new -key private.key -out request.csr

内容

  • 公钥：包含申请者的公钥。
  • 身份信息：如域名、组织名、单位名、城市、州/省和国家。
  • 签名：用私钥签名，以确保请求的完整性和真实性。
2. CRT（Certificate）

定义

  • CRT 是由 CA 签发的数字证书。它包含申请者的公钥以及 CA 对公钥的签名。

主要用途

  • 验证身份：CRT 文件用于验证网站或服务器的身份，确保与之通信的客户端连接的是可信的实体。
  • 加密通信：证书用于建立加密连接（如 HTTPS），确保数据传输的安全性。

生成过程

  • 提交 CSR：将生成的 CSR 提交给 CA。
  • CA 签发证书：CA 验证 CSR 并签发证书，生成 CRT 文件。
    openssl x509 -req -in request.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out certificate.crt -days 365 -sha256

内容

  • 公钥：申请者的公钥。
  • 身份信息：如域名、组织名、单位名、城市、州/省和国家。
  • 签名：由 CA 使用其私钥签名，证明其可信性。
  • 有效期：证书的有效期限。

总结

  • CSR 是用于申请证书的请求文件，包含申请者的公钥和身份信息。它由申请者生成并提交给 CA。
  • CRT 是由 CA 签发的证书，包含公钥和 CA 的签名，用于验证身份和加密通信。它由 CA 根据 CSR 签发。

通过这些过程，CSR 和 CRT 在确保网络通信的安全性和可信性方面起到了重要作用。

一、部署Harbor仓库https认证

安装 Docker

1. 配置 Docker 源
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i '
s+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum list docker-ce --showduplicates
2. yum安装指定的 Docker 版本
yum -y install docker-ce-23.0.1 docker-ce-cli-23.0.1
3. rpm安装（可选）

下载所属docker包

tar xf docker-ce-23_0_1.tar.gz 
yum -y localinstalldocker-ce-23_0_1/*.rpm
4. 添加自动补全功能
yum -y install bash-completion
source /usr/share/bash-completion/bash_completion
5. 配置阿里云镜像加速
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker
6. 验证镜像加速是否成功
docker info | grep "Registry Mirrors" -A 1
7. 将 Docker 设置为开机自启动,禁用防火墙,禁用 SELinux
systemctl enable --now docker
systemctl disable --now firewalld
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config
8. 配置 host 解析
cat >> /etc/hosts <<'EOF'
192.168.133.128        master.ashm.com
192.168.133.130        node1.ashm.com
192.168.133.131        node2.ashm.com
192.168.133.132        harbor.ashm.com
EOF
cat /etc/hosts

安装 Docker Compose

1. 添加 EPEL 源
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
2. 安装 Docker Compose
yum -y install docker-compose
3. 查看 Docker Compose 版本
docker-compose version

输出结果

docker-compose version 1.18.0, build 8dd22a9
docker-py version: 2.6.1
CPython version: 3.6.8
OpenSSL version: OpenSSL 1.0.2k-fips  26 Jan 2017

---

安装 Harbor

1. 下载 Harbor 软件包

Releases · goharbor/harbor (github.com)

2. 创建工作目录
mkdir -pv /ashm/softwares
3. 解压 Harbor 软件包
tar xvf harbor-offline-installer-v1.10.10.tgz -C /ashm/softwares/
4. 创建证书的工作目录
mkdir -pv /ashm/softwares/harbor/certs/{ca,server,client}
5. 生成自建 CA 证书
5.1 进入证书目录
cd /ashm/softwares/harbor/certs/
5.2 生成 CA 私钥
openssl genrsa -out ca/ca.key 4096

这条命令的作用是生成一个 4096 位的 RSA 私钥，并将其保存到 ca/ca.key 文件中。它不会生成公钥。生成私钥是所有加密操作的基础，私钥用于创建 CSR（证书签名请求）和签署其他证书。私钥包含生成公钥所需的所有信息，可以通过私钥派生出公钥,- 公钥可以通过私钥派生而来，但不是直接生成的。公钥用于加密，私钥用于解密和签名。

5.3 生成 CA 的自签名证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=ashm.com" \
-key ca/ca.key \
-out ca/ca.crt

这条命令的作用：

使用 OpenSSL 生成一个自签名的 CA根证书。CA 证书包含公钥并可以用于签发其他证书，确保安全通信。

  • -key ca/ca.key：使用前一步生成的私钥。
  • 在生成自签名证书的过程中，OpenSSL 自动从私钥中派生出公钥，并将其包含在生成的证书 ca/ca.crt 中。
  • CRT 是由 CA 签发的数字证书。它包含申请者的公钥、一些组织域名等描述信息以及 CA 对公钥的签名。

参数详解：

  1. openssl req：
    • 用于生成证书签名请求（CSR）或自签名证书。
  2. -x509：
    • 生成一个自签名证书，而不是常规的 CSR 文件。自签名证书即 CA 证书。
  3. -new：
    • 生成一个新的证书请求。
  4. -nodes：
    • 不对私钥文件进行加密（不使用密码保护）。
  5. -sha512：
    • 使用 SHA-512 哈希算法生成证书。SHA-512 提供更高的安全性。
  6. -days 3650：
    • 指定证书的有效期为 3650 天（约 10 年）。
  7. -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=ashm.com"：
    • 直接在命令行中指定证书的主题（subject）信息，避免交互式输入。该参数包括：
      • C=CN：国家代码（中国）。
      • ST=Beijing：省/州（北京）。
      • L=Beijing：城市/地点（北京）。
      • O=example：组织名称（例如，example 公司）。
      • OU=Personal：组织单位（例如，Personal 部门）。
      • CN=ashm.com：公共名称（Common Name），通常是域名或服务名称（例如，ashm.com）。
  8. -key ca/ca.key：
    • 使用指定的私钥文件（ca/ca.key）来签名证书。该私钥文件必须先生成。
  9. -out ca/ca.crt：
    • 指定输出生成的自签名证书文件路径（ca/ca.crt）。

证书和公钥的关系：

  • CA 证书：包含 CA 的公钥、公钥对应的私钥签名、证书的颁发者信息和有效期等。该公钥用于验证由该 CA 签发的证书。
  • 私钥：与公钥配对使用，用于签名和解密。私钥应妥善保管，不应泄露。
6. 生成 Harbor 服务器的证书文件及客户端证书
6.1 生成 Harbor 主机的私钥
openssl genrsa -out server/harbor.ashm.com.key 4096
6.2 生成 Harbor 主机的证书申请
openssl req -sha512 -new \
-subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=harbor.ashm.com" \
-key server/harbor.ashm.com.key \
-out server/harbor.ashm.com.csr
  • CSR 是证书签名请求。它包含了申请者的公钥以及相关的识别信息，如域名、组织名等。CSR 是向证书颁发机构（CA）申请证书时所需提交的文件。它提供了 CA 所需的信息，以便CA签发证书。
  • 用私钥生成CSR，公钥会自动生成包含在里面。
6.3 生成 x509 v3 扩展文件
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=ashm.com
DNS.2=ashm
DNS.3=harbor.ashm.com
EOF
  • authorityKeyIdentifier=keyid,issuer：
    • 这个扩展用于标识证书的颁发机构。keyid 是密钥标识符，issuer 是颁发者信息，确保可以追踪到签发该证书的 CA。
  • basicConstraints=CA:FALSE：
    • 指定证书的基本约束条件。CA:FALSE 表示这个证书不是一个 CA 证书，而是一个终端实体证书（即用于服务器认证）。
  • keyUsage=digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment：
    • 定义证书的关键用途。
      • digitalSignature：允许证书用于数字签名。
      • nonRepudiation：防止签名者否认其签名行为。
      • keyEncipherment：允许加密密钥。
      • dataEncipherment：允许加密数据。
  • extendedKeyUsage=serverAuth：
    • 扩展的关键用途，指定证书用于服务器认证（serverAuth）。
  • subjectAltName=@alt_names：
    • 指定证书的主题备用名称，这通常用于支持多域名或子域名。@alt_names 表示将在文件中定义备用名称。

使用场景

  • Web 服务器证书：
    • 该扩展文件用于生成一个适用于 Web 服务器的证书，确保服务器可以通过 HTTPS 提供安全的通信。
  • 多域名支持：
    • subjectAltName 扩展允许证书支持多个域名或子域名，这是现代 HTTPS 证书的常见要求。
6.4 使用 “v3.ext” 给 Harbor 主机签发证书
openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca/ca.crt -CAkey ca/ca.key -CAcreateserial \
-in server/harbor.ashm.com.csr \
-out server/harbor.ashm.com.crt
  1. -CA ca/ca.crt -CAkey ca/ca.key -CAcreateserial：
    • -CA ca/ca.crt：指定 CA 的证书，用于签署新的证书。
    • -CAkey ca/ca.key：指定 CA 的私钥，用于签署新的证书。
    • -CAcreateserial：当你使用 OpenSSL 签发证书时，会使用 -CAcreateserial 参数，这个参数会在指定路径创建一个 .srl 文件（如果文件不存在），并在文件中存储一个初始的序列号。.srl 文件用于存储证书序列号（Serial Number）。序列号是证书中的一个重要字段，它必须是唯一的，以确保每个证书都可以唯一标识。序列号有助于证书的管理和追踪，例如在吊销某个证书时，可以通过序列号精确定位到该证书。
    • -in server/harbor.ashm```markdown .com.csr**：
    • 指定输入的 CSR 文件，包含待签署的公钥和相关信息。
    • -out server/harbor.ashm.com.crt：
    • 指定输出的证书文件，即签署后的服务器证书。
6.5 将 crt 文件转换为 cert 客户端证书文件
openssl x509 -inform PEM -in server/harbor.ashm.com.crt -out server/harbor.ashm.com.cert

主要目的是将证书文件从 .crt 转换为 .cert，docker不认crt格式证书。

6.6 准备 Docker 客户端证书
cp server/harbor.ashm.com.{cert,key} client/
cp ca/ca.crt client/
6.7 查看所有证书文件结果
ll -R
7. 配置 Harbor 服务器使用证书
7.1 切换工作目录
cd /ashm/softwares/harbor
7.2 修改配置文件
echo alias yy=\'egrep -v \"\^.*#\|\^\$\"\'  >> /root/.bashrc 
source /root/.bashrc
yy harbor.yml

这条命令将一个新别名 yy 添加到 .bashrc 文件中。该别名使用 egrep 命令过滤掉以 # 开头的注释行和空行。这种操作在管理服务器配置文件、脚本和日志时非常有用，可以帮助你更快速地找到重要的信息，而不被无关的注释和空白行干扰。

编辑 harbor.yml 文件，配置 HTTPS 证书和密钥：

hostname: harbor.ashm.com
https:
  port: 443
  certificate: /ashm/softwares/harbor/certs/server/harbor.ashm.com.crt
  private_key: /ashm/softwares/harbor/certs/server/harbor.ashm.com.key
harbor_admin_password: 1
8. 安装 Harbor 服务
./install.sh
9. Windows 验证 Harbor 的 HTTPS
9.1 配置主机解析

在 C:\Windows\System32\drivers\etc\hosts 文件中，用管理员权限编辑添加以下内容：

192.168.133.128        master.ashm.com
192.168.133.130        node1.ashm.com
192.168.133.131        node2.ashm.com
192.168.133.132        harbor.ashm.com
9.2 浏览器访问

windows浏览器访问 https://harbor.ashm.com。
若是不行，检查是否开着VPN，或者试试有没有启动：

docker-compose up -d
10. Linux 验证 Harbor 的 HTTPS
10.1 在 Docker 客户端节点创建自签证书域名存放路径
mkdir -pv /etc/docker/certs.d/harbor.ashm.com
10.2 服务端将证书文件拷贝到客户端 Docker 节点

因为CA证书是自签的，docker login的时候会不认可。所以创建了这个同名目录，如果里面找得到CA证书，就会信任。

#可以这样拷贝，把服务私钥，证书和CA证书都拷贝过去
cp /ashm/softwares/harbor/certs/client/* /etc/docker/certs.d/harbor.ashm.com/

#也可以这样拷贝，只拷贝ca证书
cp /ashm/softwares/harbor/certs/client/ca.crt /etc/docker/certs.d/harbor.ashm.com/
10.3 登录验证
docker login -u admin -p 1 harbor.ashm.com
10.4 退出登录

登录时密码会明文存储在/root/.docker/config.json，为了安全要登出：

docker logout harbor.ashm.com

---

二、K8S 集群部署

K8S 环境准备

1. 所有节点(master,node1,node2)环境准备
1.1 关闭 swap 分区

基于配置文件关闭

swapoff -a && sysctl -w vm.swappiness=0
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
1.2 确保各个节点 MAC 地址或 product_uuid 唯一
ifconfig eth0 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid
1.3 检查网络节点是否互通

使用 ping 命令测试。

1.4 允许 iptables 检查桥接流量

使用iptables，让kube-proxy能够实现反向代理：

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
1.5 检查端口是否被占用（可选）

参考：https://kubernetes.io/zh/docs/reference/ports-and-protocols/

1.6 检查 Docker 的环境（可选）

参考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md#unchanged

1.6.1 配置 Docker 源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i '

s+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum list docker-ce --showduplicates

该命令使用sed命令行工具来编辑文件内容。具体来说，这条命令的作用是将/etc/yum.repos.d/docker-ce.repo文件中所有出现的download.docker.com替换为mirrors.tuna.tsinghua.edu.cn/docker-ce。

1.6.2 安装指定的 Docker 版本
yum -y install docker-ce-20.10.24 docker-ce-cli-20.10.24
yum -y install bash-completion
source /usr/share/bash-completion/bash_completion
1.6.3 配置 Docker 优化加速
mkdir -pv /etc/docker && cat <<EOF | tee /etc/docker/daemon.json
{
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF

配置docker镜像加速，指定cgroup用systemd管理。

1.6.4 配置 host 解析
cat >> /etc/hosts <<'EOF'
192.168.133.128        master.ashm.com
192.168.133.130        node1.ashm.com
192.168.133.131        node2.ashm.com
192.168.133.132        harbor.ashm.com
EOF
cat /etc/hosts
1.6.5 将 Harbor 服务器的客户端证书拷贝到 K8S 集群

k8s所有节点创建自建证书目录：

mkdir -pv /etc/docker/certs.d/harbor.ashm.com

登录harbor服务器将自签的CA证书拷贝到k8s集群的所有节点：

scp /ashm/softwares/harbor/certs/client/ca.crt master.ashm.com:/etc/docker/certs.d/harbor.ashm.com
scp /ashm/softwares/harbor/certs/client/ca.crt node1.ashm.com:/etc/docker/certs.d/harbor.ashm.com
scp /ashm/softwares/harbor/certs/client/ca.crt node2.ashm.com:/etc/docker/certs.d/harbor.ashm.com
1.6.6 配置 Docker 开机自启动
systemctl enable --now docker
systemctl start docker
systemctl status docker
1.7 禁用防火墙
systemctl disable --now firewalld
1.8 禁用 SELinux
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config
1.10 验证是否能够登录 Harbor 仓库
docker login -u admin -p 1 harbor.ashm.com

---

2. 所有节点安装 kubeadm, kubelet, kubectl
2.1 配置软件源
cat > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF
2.2 查看 kubeadm 的版本
yum -y list kubeadm --showduplicates | sort -r
2.3 安装 kubeadm, kubelet, kubectl 软件包
  • Master 节点需要安装 kubeadm, kubelet, kubectl。
yum -y install kubeadm-1.23.17-0 kubelet-1.23.17-0 kubectl-1.23.17-0
  • Node 节点需要安装 kubeadm, kubelet。
yum -y install kubeadm-1.23.17-0 kubelet-1.23.17-0

Master 节点需要 kubelet 的原因
虽然 kubelet 在 Node 节点上主要用于调度和管理 Pod，但在 Master 节点上也需要安装和运行 kubelet，其原因如下：

  • 管理控制平面组件：Master 节点上的控制平面组件（如 API Server、Controller Manager 和 Scheduler）也是以 Pod 形式运行的。kubelet 负责在 Master 节点上启动和管理这些 Pod。
  • 确保一致性：在所有节点上运行 kubelet 可以确保集群的一致性和可靠性，提供统一的容器管理和监控。

在 Kubernetes 集群中，Node（工作节点）不需要安装 kubectl 的原因如下：

  • 管理职责分离
    kubectl 是 Kubernetes 的命令行工具，主要用于集群管理和操作。通常情况下，管理和操作集群的任务由管理员通过 Master 节点上的 kubectl 完成。在工作节点上安装 kubectl 没有必要，因为这些节点主要用于运行和管理容器，不进行集群管理操作。
  • 安全性
    在工作节点上安装 kubectl 可能会带来安全风险。工作节点上运行着各种应用程序和工作负载，如果 kubectl 工具被误用或滥用，可能会对集群的稳定性和安全性产生负面影响。
2.3.1 安装本地软件包（可选）

官网下载安装包

tar xf kubeadmin-rpm-1_23_17.tar.gz \
&& yum -y localinstall kubeadmin-rpm-1_23_17/*.rpm \
&& rm -rf kubeadmin-rpm-1_23_17*
2.4 启动 kubelet 服务(若服务启动失败时正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！此步骤可跳过！)
systemctl enable --now kubelet
systemctl start kubelet
systemctl status kubelet

---

初始化Master节点

1. 初始化 Master 节点
1.1 使用 kubeadm 初始化 master 节点

在初始化 Kubernetes Master 节点时，kubeadm init 会进行系统预检检查，下载控制平面组件镜像，生成并配置证书和密钥，启动 etcd 服务和控制平面组件（API Server、Controller Manager、Scheduler），配置集群网络和 DNS，初始化 kubeconfig 文件，并生成其他节点加入集群的命令。

  • 每个 Pod 都有一个唯一的 IP 地址，这个 IP 地址从 --pod-network-cidr 指定的范围中分配。默认是10.244.0.0/16，这里自己指定了10.100.0.0/16的话，后面下载flannel网络要修改yml文件
kubeadm init \
  --kubernetes-version=v1.23.17 \
  --image-repository registry.aliyuncs.com/google_containers \
  --pod-network-cidr=10.244.0.0/16 \
  --service-cidr=10.200.0.0/16 \
  --service-dns-domain=ashm.com

查看输出的信息，记录生成的 kubeadm join命令，尤其是token和 discovery-token-ca-cert-hash。后面node加入需要

如果失败，比如：

failed to pull image registry.aliyuncs.com/google_containers/kube-proxy:v1.23.17: output: Error response from daemon: Get "https://registry.aliyuncs.com/v2/": dial tcp: lookup registry.aliyuncs.com on 192.168.133.2:53: server misbehaving
, error: exit status 1

改下DNS

sudo bash -c 'echo "nameserver 8.8.8.8" > /etc/resolv.conf'
sudo bash -c 'echo "nameserver 8.8.4.4" >> /etc/resolv.conf'

测一下网络连接

curl -I https://registry.aliyuncs.com
ping registry.aliyuncs.com
参数说明

  • --kubernetes-version: 指定 K8S master 组件的版本号。

  • --image-repository: 指定下载 k8s master 组件的镜像仓库地址。

  • `–pod-network-cidr: 指定 Pod 的 IP 地址范围，用于集群中所有 Pod 的 IP 分配。

  • --service-cidr: 指定服务的 IP 地址范围，用于集群中所有服务的虚拟 IP 分配

  • --service-dns-domain: 指定 Kubernetes 集群中服务的默认 DNS 域名，这个域名并不需要与你的集群节点的实际域名（如 master.ashm.com、node1.ashm.com 等）直接相关，它是用于服务发现的内部 DNS 域名，默认为 cluster.local。

  • Pod 内的所有容器共享这个 Pod 的 IP 地址，并且可以通过 localhost 彼此通信。这是因为 Pod 内的容器是通过网络命名空间共享同一个网络栈。

3.2 拷贝授权文件，用于管理 K8S 集群
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
3.3 查看集群节点
kubectl get nodes
kubectl get componentstatuses
kubectl get cs

如下结果为成功

[root@localhost ~]# kubectl get componentstatuses
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
controller-manager   Healthy   ok                              
scheduler            Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}

---

2. 配置所有 Worker 节点加入 K8S 集群
2.1 所有节点加入 K8S 集群
kubeadm join <master的ip或者域名>:6443 \
--token <your_token> \
--discovery-token-ca-cert-hash sha256:<your_hash>

例如：

kubeadm join master.ashm.com:6443 \
--token dibf1d.wq50eig3bim6qdbt \
--discovery-token-ca-cert-hash sha256:b5d803846550f8959d83ef51f6602a8514f21e3aeee095ac3cd5983ee482b335

如果之前没记录token和hash，重新生成：

kubeadm token create

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
2.2 查看现有的节点
kubectl get nodes

---

2.3 添加 kubectl 的自动补全功能
echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc

检查下node节点是否已经拉取并运行了pause和kube porxy镜像

docker images

如果空白，node节点查看一下日志

journalctl -u kubelet -f

如果报错是这个，

failed pulling image \"registry.aliyuncs.com/google_containers/pause:3.6\": Error response from daemon: Get \"https://registry.aliyuncs.com/v2/\": dial tcp: lookup registry.aliyuncs.com on 192.168.133.2:53: server misbehaving"

DNS有问题，node节点改一下

sudo bash -c 'echo "nameserver 8.8.8.8" > /etc/resolv.conf'
sudo bash -c 'echo "nameserver 8.8.4.4" >> /etc/resolv.conf'
3. 安装网络插件并验证连通性
`3.1 github下载安装flannel

flannel使得容器网络互通，在matser节点安装

官方地址

https://kubernetes.io/docs/concepts/cluster-administration/addons/

For Kubernetes v1.17+

Deploying Flannel with kubectl

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
3.2 本地安装 flannel

如果github上面那个执行不了，就下载安装包安装

wget https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml
kubectl apply -f kube-flannel.yml

kubectl get nodes看一下
所有节点变成ready状态说明安装成功

3.3 检查 flannel 组件是否正常
kubectl get pods -A -o wide | grep kube-flannel

如果你之前改了flannel的默认cidr网段，这里会提示：CrashLoopBackOff
需要修改yml文件的"Network":为 “10.100.0.0/16”,然后kubectl delete -f kube-flannel.yml ，再次kubectl apply -f kube-flannel.yml
再次查看状态，running即可

至此全部安装完成，下面是创建pod测试

3.4 编写 DaemonSet 资源清单创建pod
vim linux85-ds.yaml

贴z这个进去

kind: DaemonSet
apiVersion: apps/v1
metadata:
  name: linux85-ds
spec:
  selector:
    matchLabels:
      school: ashm
      class: linux85
  template:
    metadata:
      labels:
        school: ashm
        class: linux85
    spec:
      containers:
      - image: alpine
        stdin: true
        name: mylinux
3.5 创建 Pod 资源
kubectl apply -f linux85-ds.yaml 


kubectl get pods -o wide


NAME               READY   STATUS    RESTARTS   AGE   IP           NODE             NOMINATED NODE   READINESS GATES
linux85-ds-ksbnt   1/1     Running   0          51s   10.100.2.4   node2.ashm.com   <none>           <none>
linux85-ds-l4d8c   1/1     Running   0          51s   10.100.1.2   node1.ashm.com   <none>           <none>
3.6 测试跨节点 Pod 之间的通信

查看pod里面容器的ip

kubectl exec linux85-ds-ksbnt -- ifconfig


eth0      Link encap:Ethernet  HWaddr CA:04:12:6F:10:53  
          inet addr:10.100.2.4  Bcast:10.100.2.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1450  Metric:1
          RX packets:5 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0 
          RX bytes:446 (446.0 B)  TX bytes:42 (42.0 B)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

node2的容器ping node1容器查看网络连通性

kubectl exec linux85-ds-ksbnt -- ping -c 3 10.100.1.2
3.7 删除 Pod 资源
kubectl delete -f linux85-ds.yaml
`4. 关机后服务重启清单

如果重启或者关机
node和master都设置了enable开机自启的话，一般都会自启动。

Harbor仓库需要开始服务

docker-compose  up -d
docker-compose ps

查看是否所有服务都up，如果有不是up的，删除存储卷重来

docker-compose down -v -t 1
docker-compose  up -d

如果想全部重置，删了/data/下面的东西。

# https # kubernetes # k8s # 运维
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes