（一）kubernetes1.29.4离线部署之-安装文件准备
（二）kubernetes1.29.4离线部署之-镜像文件准备
（三）kubernetes1.29.4离线部署之-环境初始化
（四）kubernetes1.29.4离线部署之-组件安装
（五）kubernetes1.29.4离线部署之-初始化第一个控制平面
（六）kubernetes1.29.4离线部署之-加入Node节点
（七）kubernetes1.29.4离线部署之-网络插件
（八）kubernetes1.29.4离线部署之-测试验证

备注： 完整版请参阅 【k8s】Kubernetes 1.29.4离线安装部署（总）

组件安装

需要安装的组件列表
  1. 安装containerd
  2. 部署containerd 配置文件
  3. 安装cni plugin
  4. 安装crictl
  5. 安装runc
  6. 安装部署kubeadm、kubelet、kubectl

特别关注：
再拷贝kubeadm、kubelet、kubectl文件后，务必记得要创建必须要的几个目录，否则会导致后面初始化控制平面时会出错，详情见完整的安装脚本
sudo mkdir -p /var/lib/kubelet
sudo mkdir -p /etc/kubernetes/manifests
yum 自动从网络安装不会出现该问题，会自动创建。

  1. 初始化集群第一控制平面节点
安装完整的脚本
#!/bin/bash
###############################################
# QingHub K8S Install 版本: $VERSION
# 架构: $ARCH_TYPE 目前版本主要支持amd64，其他待敬请期待
# 操作系统: $os_type
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                           https://qinghub.net
###############################################
ENV_CFG=./env.cfg
if [ -f ${ENV_CFG} ] ; then
	chmod 777 ${ENV_CFG}
	source ${ENV_CFG}
fi
os_type=$(uname -s)

if [ $(arch) = "x86_64" ] || [ $(arch) = "amd64" ]; then
    arch_type=amd64
elif [ $(arch) = "aarch64" ] || [ $(arch) = "arm64" ]; then
    arch_type=arm64
elif [ $(arch) = "i386" ]; then
    arch_type=amd64
    echo -e "${YELLOW}[WAIN] 检测到 i386, 我们暂时把它当做 x86_64(amd64) ${NC}"
else
  echo -e "${RED}[ERROR] QingHub Studio 目前还不支持 $(arch) 架构 ${NC}"
  exit 1
fi


###############################################
# 复制并安装cri_containerd_cni 包括：cri, containerd,cni三合一，后续会覆盖安装
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_cri_containerd_cni(){
  echo -e "${GREEN}[INFO] 下载并安装cri_containerd_cni二级制文件 ${cri_containerd_cni_name} ${NC}"
  if [[ -e /usr/bin/curl ]]; then
       # 离线下载文件请修改TODO
      curl -L ${cri_containerd_cni_url} | sudo tar -C / -xz || {
          echo -e "${RED}[ERROR] 下载并安装cri_containerd_cni二进制文件失败 ${NC}"
          exit 1
      }
  else
      wget -c "$cri_containerd_cni_url" | sudo tar -C / -xz || {
          echo -e "${RED}[ERROR] 下载cri_containerd_cni二进制文件失败 ${NC}"
          exit 1
      }
  fi
  echo -e "${GREEN}[INFO] 创建containerd.service 文件 ${NC}"
  sudo systemctl enable --now containerd
  echo -e "${GREEN}[INFO] 安装containerd成功${NC}"
}


###############################################
# 描述： 初始化containerd 配置文件，添加修改仓库信息，请酌情修改
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_containerd_config(){
  mkdir -p /etc/containerd
  sudo /usr/local/bin/containerd config default | tee /etc/containerd/config.toml

  # 修改Containerd的配置文件
  sudo sed -i "s#SystemdCgroup\ \=\ false#SystemdCgroup\ \=\ true#g" /etc/containerd/config.toml
  cat /etc/containerd/config.toml | grep SystemdCgroup
  sudo sed -i "s#registry.k8s.io\/pause:3.8#qinghub.net:5000\/qingcloudtech\/pause:3.9#g" /etc/containerd/config.toml
  cat /etc/containerd/config.toml | grep sandbox_image
  sudo sed -i "s#config_path\ \=\ \"\"#config_path\ \=\ \"/etc/containerd/certs.d\"#g" /etc/containerd/config.toml
  cat /etc/containerd/config.toml | grep certs.d

  mkdir /etc/containerd/certs.d/qinghub.net:5000 -pv
  sudo bash -c 'cat > /etc/containerd/certs.d/qinghub.net:5000/hosts.toml << EOF
server = "qinghub.net:5000"
[host."qinghub.net:5000"]
    capabilities = ["pull", "resolve"]
EOF'

  mkdir /etc/containerd/certs.d/docker.io -pv
  sudo bash -c 'cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://docker.io"
[host."https://qinghub.net:5000"]
  capabilities = ["pull", "resolve"]
[host."https://dockerproxy.com"]
  capabilities = ["pull", "resolve"]
[host."https://docker.m.daocloud.io"]
  capabilities = ["pull", "resolve"]
[host."https://reg-mirror.qiniu.com"]
  capabilities = ["pull", "resolve"]
[host."http://hub-mirror.c.163.com"]
  capabilities = ["pull", "resolve"]
EOF'

  systemctl daemon-reload
  systemctl restart containerd.service
}

###############################################
# 描述： 安装cni文件
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_cni_plugins(){
  DEST="/opt/cni/bin"
  sudo mkdir -p "$DEST"
  echo -e "${GREEN}[INFO] 下载并安装cni_plugins二级制文件 ${cni_plugins_name} ${NC}"
  if [[ -e /usr/bin/curl ]]; then
      # 离线下载文件请修改TODO
      curl -L ${cni_plugins_url} | sudo tar -C "$DEST" -xz || {
          echo -e "${RED}[ERROR] 下载cni_plugins二进制文件失败 ${NC}"
          exit 1
      }
  else
      wget -c "$cni_plugins_url" | sudo tar -C "$DEST" -xz || {
          echo -e "${RED}[ERROR] 下载cni_plugins二进制文件失败 ${NC}"
          exit 1
      }
  fi
  echo -e "${GREEN}[INFO] 安装cni_plugins成功${NC}"
}

###############################################
# 描述： 拷贝runc文件
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_runc(){
  DEST="/usr/bin"
  sudo mkdir -p "$DEST"
  cd "$DEST"
  echo -e "${GREEN}[INFO] 下载并安装runc二级制文件 ${runc_name} ${NC}"
  if [[ -e /usr/bin/curl ]]; then
      # 离线下载文件请修改TODO
      curl -L -O ${runc_url} || {
          echo -e "${RED}[ERROR] 下载并安装runc二进制文件失败 ${NC}"
          exit 1
      }
  else
      wget -c "$runc_url" || {
          echo -e "${RED}[ERROR] 下载runc二进制文件失败 ${NC}"
          exit 1
      }
  fi
  if [ -f $DEST/runc.amd64 ]; then
     chmod +x $DEST/runc.amd64
     mv $DEST/runc.amd64 $DEST/runc
  fi
  echo -e "${GREEN}[INFO] 安装runc成功${NC}"
}

###############################################
# 描述： 拷贝crictl工具文件
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_crictl(){
  DEST="/usr/local/bin"
  sudo mkdir -p "$DEST"

  echo -e "${GREEN}[INFO] 下载并安装crictl二级制文件 ${crictl_name} ${NC}"
  if [[ -e /usr/bin/curl ]]; then
      # 离线下载文件请修改TODO
      sudo curl -L ${crictl_url} | sudo tar -C $DEST -xz || {
          echo -e "${RED}[ERROR] 下载crictl二进制文件失败 ${NC}"
          exit 1
      }
  else
      sudo wget -c "$crictl_url" | sudo tar -C "$DEST" -xz || {
          echo -e "${RED}[ERROR] 下载crictl二进制文件失败 ${NC}"
          exit 1
      }
  fi
  echo -e "${GREEN}[INFO] 安装crictl成功${NC}"
  #生成配置文件
  sudo bash -c "cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
EOF"
  systemctl restart containerd
}


###############################################
# 描述： 安装kubeadmin，kubelet，kubectl,在每个节点都需要安装kubeadmin，kubelet，
# kubectl根据情况在合适的控制平台节点安装，可以修改参数$QINGCLOUD_KUBECTL_FLAG=no关闭安装
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function install_kubeadm(){
  TEMP="/tmp"

  echo -e "${GREEN}[INFO] 下载Kubernetes二级制文件 ${KUBERNETES_VERSION} ${NC}"

  if [[ -e /usr/bin/curl ]]; then
      # 离线下载文件请修改TODO
      sudo curl -L "${kubernetes_server_url}" | sudo tar -C "$TEMP" -xz || {
          echo -e "${RED}[ERROR] 下载Kubernetes二进制文件失败 ${NC}"
          exit 1
      }
  else
      sudo wget -c "$kubernetes_server_url" | sudo tar -C "$TEMP" -xz || {
          echo -e "${RED}[ERROR] 下载Kubernetes二进制文件失败 ${NC}"
          exit 1
      }
  fi

  DEST="/usr/bin"
  cd $DEST
  sudo cp $TEMP/kubernetes/server/bin/{kubeadm,kubelet} .
  sudo chmod +x {kubeadm,kubelet}

  echo -e "${GREEN}[INFO] 成功安装kubeadm,kubelet到${DEST}目录 ${NC}"
  echo -e "${GREEN}[INFO] 创建kubelet.service 文件 ${NC}"
  sudo bash -c "cat > /usr/lib/systemd/system/kubelet.service <<EOF
[Unit]
Description=kubelet: The Kubernetes Node Agent
Documentation=https://kubernetes.io/docs/
Wants=network-online.target
After=network-online.target

[Service]
ExecStart=${DEST}/kubelet
Restart=always
StartLimitInterval=0
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF"
  sudo mkdir -p /usr/lib/systemd/system/kubelet.service.d
  echo -e "${GREEN}[INFO] 创建10-kubeadm.conf 文件 ${NC}"
  sudo bash -c "cat > /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf <<EOF
[Service]
Environment=\"KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf\"
Environment=\"KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml\"
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
EnvironmentFile=-/etc/sysconfig/kubelet
ExecStart=
ExecStart=$DEST/kubelet \\\$KUBELET_KUBECONFIG_ARGS \\\$KUBELET_CONFIG_ARGS \\\$KUBELET_KUBEADM_ARGS \\\$KUBELET_EXTRA_ARGS
EOF"
sudo bash -c "cat > /etc/sysconfig/kubelet <<EOF
KUBELET_EXTRA_ARGS=
EOF"
  #创建必须要的几个目录
  sudo mkdir -p /var/lib/kubelet
  sudo mkdir -p /etc/kubernetes/manifests
  sudo systemctl enable kubelet
  if [ "$QINGCLOUD_KUBECTL_FLAG" == "yes" ]; then
    cd $DEST
    sudo cp ${TEMP}/kubernetes/server/bin/kubectl .
    sudo chmod +x kubectl
    echo -e "${GREEN}[INFO] 成功安装kubectl到${DEST}目录 ${NC}"
  fi

  if [[ -d "${TEMP}/kubernetes" ]]; then
    sudo rm -rf "${TEMP}/kubernetes-server-linux-amd64"
    echo -e "${GREEN}[INFO] 临时安装文件${TEMP}/kubernetes-server-linux-amd64正常删除 ${NC}"
  fi
}

###############################################
# 描述： 初始化控制平面节点。
# ${QINGCLOUD_ADVERTISE_ADDRESS}       ApiServer地址，请根据情况填写，可以是配置的高可用地址
# ${LOCAL_IMAGE_DOMAIN}               本地容器镜像仓库地址
# ${LOCAL_IMAGE_NAMESPACE}            本地容器镜像命名空间
# ${KUBERNETES_VERSION}               K8S版本
# QingHub Studio官网: https://qinghub.net
# 如过您安装遇到问题，请到官网查找官方联系方式或加支持群:
#                                https://qinghub.net
###############################################
function init_cluster(){
  echo -e "${GREEN}[INFO] ==========初始化第一个控制平面,请根据输出结果初始其他他节点========= ${NC}"
  kubeadm init \
    --apiserver-advertise-address="${QINGCLOUD_ADVERTISE_ADDRESS}" \
    --image-repository "${LOCAL_IMAGE_DOMAIN}/${LOCAL_IMAGE_NAMESPACE}" \
    --kubernetes-version "${KUBERNETES_VERSION}" \
    --cri-socket=unix:///run/containerd/containerd.sock \
    --service-cidr=10.96.0.0/16 \
    --pod-network-cidr=172.16.0.0/16
}

# 主入口地址，根据实际可以手动执行相关内容
function main {
    echo -e "${GREEN}[INFO] ==========开始安装kubernetes========= ${NC}"
    #安装containerd
    install_cri_containerd_cni
    #安装cni plugin
    install_cni_plugins
    #安装containerd 配置文件
    install_containerd_config
    #安装crictl
    install_crictl
    #安装runc
    install_runc
    #安装kubeadm
    install_kubeadm
    #初始化集群master节点
    if [ "$QINGCLOUD_KUBECTL_FLAG" == "yes" ] ;then
      init_cluster
    fi
    echo -e "${GREEN}[INFO] ==========完成安装kubernetes========= ${NC}"
}

main

你可以通过【QingHub Studio】) 套件直接安装部署，也可以手动按如下文档操作，该项目已经全面开源，完整的脚本可以从如下开源地址获取：
开源地址: https://gitee.com/qingplus/qingcloud-platform
【QingHub Studio集成开发套件】

# kubernetes # linux # 容器 # k8s
Logo
K8S/Kubernetes

K8S/Kubernetes社区为您提供最前沿的新闻资讯和知识内容

更多推荐

【深度】阿里巴巴万级规模 K8s 集群全局高可用体系之美

作者 |  韩堂、柘远、沉醉来源 | 阿里巴巴云原生公众号​前言台湾作家林清玄在接受记者采访的时候，如此评价自己 30 多年写作生涯：“第一个十年我才华横溢，‘贼光闪现’，令周边黯然失色；第二个十年，我终于‘宝光现形’，不再去抢风头，反而与身边的美丽相得益彰；进入第三个十年，繁华落尽见真醇，我进入了‘醇光初现’的阶段，真正体味到了境界之美”。​长夜有穷，真水无香。领略过了 K8s“身在江

avatar K8S/Kubernetes

如何基于 K8s 构建下一代 DevOps 平台？

作者 | 孙健波（天元）导读：当前云原生 DevOps 体系现状如何？面临哪些挑战？如何通过 OAM 解决云原生 DevOps 场景下的诸多问题？云原生开发应用模型 OAM(Open Application Model) 社区核心成员孙健波将为大家一一解答，并分享如何基于 OAM 和 Kubernetes 打造无限能力的下一代 DevOps 平台。什么是 DevOps？为什么基于 Kub

avatar K8S/Kubernetes

k8s 火了！

2020，上云之年，产品云端化成为一种趋势。在一线城市，很多公司都已经构建了自己的私有云环境，比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者，具备扩展...

avatar K8S/Kubernetes