这里的 kube on kube ， 是指建立 K8s 元集群，纳管其他业务 K8s 集群，管理集群的创建、增删节点等。参考 https://github.com/kubean-io/kubean 源码进行编写，进行了裁剪。开源！👍👍。

首先Prometheus整体监控结构略微复杂，一个个部署并不简单。另外监控Kubernetes就需要访问内部数据，必定需要进行认证、鉴权、准入控制，那么这一整套下来将变得难上加难，而且还需要花费一定的时间，如果你没有特别高的要求，还是建议选用开源比较好的一些方案。在k8s初期使用Heapster+cAdvisor方式监控，这是Prometheus Operator出现之前的k8s监控方案。

Shell-operator 是一个在 Kubernetes 集群中运行事件驱动脚本的工具。该操作器不是针对特定软件产品的操作器，例如 prometheus-operator 或 kafka-operator。Shell-operator 通过将脚本视为由事件触发的钩子，提供了 Kubernetes 集群事件和 Shell 脚本之间的集成层。您可以将其视为 operator-sdk，但用于脚本。

Kubernetes 集群备份主要是备份etcd集群。而恢复时，主要考虑恢复整个顺序：停止Kube-apiserver -->停止etcd -->恢复数据 -->启动etcd -->启动kube-apiserver。

应用性能问题，放到一边，在 K8s 层面，有坑需要我们额外注意enableServiceLinks 参数 默认为开启状态，但是大多数情况我们是不需要的，笔者建议统一关闭，有 DNS 的情况下，没多大用途，也有相关 issue 提出将 enableServiceLinks 默认值改为 false如果不需要服务环境变量（因为可能与预期的程序冲突，可能要处理的变量太多，或者仅使用DNS等），则可以通过在

较安全驱逐 & 提高稳定性的良性驱逐API发起驱逐，典型案例：kubectl drainNode Not Ready 时，Controller Manager 发起的驱逐有风险的驱逐节点压力驱逐节点磁盘空间不足、内存不足 或 Pid 不足， kubelet 发起驱逐节点内存不足，内核发起 OOM节点打污点（NoExecute），导致 Pod 被驱逐，或者移除亲和性标签，导致 Pod 被驱逐， Co

以上多集群项目主要功能为资源分发和调度，还有如多云基础设施管理 cluster-api，多集群检索 Clusterpedia，多集群 pod 互通 submariner，multicluster-ingress 解决多集群的 ingress，服务治理和流量调度 Service Mesh，如 istio、cilium 等网络组件实现的 multi cluster mesh 解决跨集群的 mesh 网