本文演示在x86-ubuntu刚装完系统环境下,如何使用4条简短的命令在线/离线部署k8s 1.32.8+ks3.4.1(监控、告警、日志。不含devops),若有其他需要可添加我微信好友sd_zdhr

1.说明

关于kt

kt是基于kk二次开发的产物,具备kk的所有功能。二开主要为适配信创国产化环境、简化arm部署过程和国产化环境离线部署。支持arm64amd64架构国产操作系统,已适配芯片+操作系统 如上。

kt新增功能点

  • 适配arm架构harbor和支持,部署体验与X86一样简单。
  • 离线环境部署增强。常用国际和国产操作系统依赖,内置到安装包中。已适配芯片和操作系统如下
    • ./kt init-os 一条命令完成操作系统依赖安装和初始化操作。
    • CPU:鲲鹏、飞腾、海光、兆芯、intel、amd等。
    • OS:Centos、Ubuntu、Debian、银河麒麟V10、麒麟国防版、麒麟信安、中标麒麟V7、统信UOS、华为欧拉、移动大云、阿里龙蜥等。
  • 支持开启防火墙,只暴露30000-32767端口,其他k8s端口添加到节点白名单。
    • ./kt firewall 一条命令自动获取节点信息开白名单和防火墙。

离线制品地址

2.环境准备

服务器基本信息

主机名 架构 OS 配置 IP
harbor x86_64 Ubuntu24.04 2核4G 192.168.85.197
node1 x86_64 Ubuntu24.04 4核16G 192.168.85.196

将对应架构kt-x86.tar.gz上传至每个节点

2.1 系统初始化

操作系统不需要安装docker,不需要设置selinux,swap等操作,全新的操作系统即可。解压kt文件后执行./kt init-os 已适配操作系统和架构见1.说明

该命令kt会自动判断操作系统和架构以安装依赖项和进行必要的初始化配置。

注:该文档需要使用kt3.1.11.1版本,后续操作也可使用kk(3.1.11版本)代替kt 执行

3 创建 Harbor私有仓库

3.1 上传离线制品

将离线制品、配置文件、kt和sh脚本上传至服务器其中一个节点,后续在该节点操作创建集群。

~~3.2 创建集群配置文件 ~~

主要修改相关节点和harbor信息,用于生~~config-sample.yaml~~

./kt create config --with-kubernetes 1.32.8 --with-kubesphere 3.4.1

3.3 修改配置文件

根据实际服务器信息,配置到生成的config-sample.yaml

apiVersion: kubekey.kubesphere.io/v1alpha2
kind: Cluster
metadata:
  name: sample
spec:
  hosts:
  - {name: harbor, address: 192.168.85.199, internalAddress: 192.168.85.199, user: root, password: "123456"}
  - {name: node1, address: 192.168.85.200, internalAddress: 192.168.85.200, user: root, password: "123456"}
  roleGroups:
    etcd:
    - node1
    control-plane:
    - node1
    worker:
    - node1
    registry:
    - harbor
  controlPlaneEndpoint:
    ## Internal loadbalancer for apiservers 
    internalLoadbalancer: haproxy

    domain: lb.kubesphere.local
    address: ""
    port: 6443
  kubernetes:
    version: 1.32.8
    clusterName: cluster.local
    autoRenewCerts: true
    containerManager: containerd
  etcd:
    type: kubekey
  network:
    plugin: calico
    kubePodsCIDR: 10.233.64.0/18
    kubeServiceCIDR: 10.233.0.0/18
    ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
    multusCNI:
      enabled: false
  registry:
    type: harbor
    registryMirrors: []
    insecureRegistries: []
    privateRegistry: "dockerhub.kubekey.local"
    namespaceOverride: "kubesphereio"
    auths: # if docker add by `docker login`, if containerd append to `/etc/containerd/config.toml`
      "dockerhub.kubekey.local":
        username: "admin"
        password: Harbor@123 # 此处可自定义,kk3.1.8新特性
        skipTLSVerify: true # Allow contacting registries over HTTPS with failed TLS verification.
        plainHTTP: false # Allow contacting registries over HTTP.
        certsPath: "/etc/docker/certs.d/dockerhub.kubekey.local"
  addons: []
  
---
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
  name: ks-installer
  namespace: kubesphere-system
  labels:
    version: 3.4.1
...

说明: 这里写一下注意事项

config-sample.yaml 配置文件的 spec:hosts 参数

官方介绍

  • address 服务器的 SSH 登录 IP 地址。
  • internalAddress 服务器在子网内部的 IP 地址。

注:若部署的服务器在同一区域,内网IP可以互通,address 和internalAddress 都使用内网IP。之前遇到过有的小伙伴买的云服务器做测试,address使用公网IP,由于部署过程通信拷贝文件走了address,公网带宽又低。导致创建集群时异常的慢。

3.4 创建镜像仓库

./kt init registry -f config-sample.yaml -a artifact-x86-k8s1328-ks341.tar.gz

此命令会在harbor节点自动安装docker和docker-compose

3.5 创建harbor项目

说明:

Harbor 管理员账号:admin,密码:Harbor@123。密码同步使用配置文件中的对应password

harbor 安装文件在 <font style="background-color:rgb(255,245,235);">/opt/harbor</font> 目录下,可在该目录下对 harbor 进行运维。

vi create_project_harbor.sh
#!/usr/bin/env bash

url="https://dockerhub.kubekey.local"  # 或修改为实际镜像仓库地址
user="admin"
passwd="Harbor@123"

harbor_projects=(
        ks
        kubesphere
        kubesphereio
        csiplugin
        tx1st
)

for project in "${harbor_projects[@]}"; do
    echo "creating $project"
    curl -u "${user}:${passwd}" -X POST -H "Content-Type: application/json" "${url}/api/v2.0/projects" -d "{ \"project_name\": \"${project}\", \"public\": true}" -k  # 注意在 curl 命令末尾加上 -k
done

创建 Harbor 项目

chmod +x create_project_harbor.sh 

./create_project_harbor.sh

4 创建k8s和KubeSphere

./kt create cluster -f config-sample.yaml -a artifact-x86-k8s1328-ks341.tar.gz

此命令kt会自动将离线制品中的镜像推送到harbor 私有仓库

执行后会有如下提示,输入yes/y继续执行

等待一段时间,直至出现熟悉的等待安装完成的小箭头>>—>

继续等待一段时间最终可以看到安装成功的消息

5 验证

登录页面

集群管理

监控告警

配置文件默认只安装了监控,如果需要安装其他组件,可以自行在自定义资源中开启


加入交流群,一起探讨后续使用。

Logo

惟楚有才,于斯为盛。欢迎来到长沙!!! 茶颜悦色、臭豆腐、CSDN和你一个都不能少~

更多推荐