logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

YARN - 资源调度的优先级配置与底层实现逻辑

在操作系统或分布式系统中,“优先级”通常用来表示某个任务相对于其他任务的重要性程度。数值越高(或越低,取决于具体实现)表示该任务应被优先处理。在 YARN 中,优先级(Priority)是一个整数字段,附加在每一个资源请求()中,用于指导 ResourceManager 在多个并发请求之间做出决策。默认情况下,大多数应用程序以优先级0提交,表示普通级别;管理员可以通过配置使某些关键任务使用更高的优

文章图片
#人工智能
YARN - 应用程序的提交运行与状态查看全流程

important;important;fill:none;loop从客户端提交,到资源调度、容器启动、任务执行、状态反馈,再到最终清理,YARN 提供了一套完整而灵活的分布式应用运行平台。YARN 不只是一个资源调度器,更是一个通用的分布式操作系统内核。掌握其应用提交与状态查看的全流程,不仅有助于开发定制化的大数据应用,也为深入理解 Spark、Flink 等高级框架的底层机制打下坚实基础。

文章图片
#人工智能
YARN - YARN 常用基础命令速查与入门实操

YARN 是 Apache Hadoop 2.x 引入的一个全新架构模块,旨在解决早期 Hadoop MapReduce 框架中 JobTracker 单点瓶颈的问题。它将资源管理和作业调度分离,使得 Hadoop 不仅能运行 MapReduce 程序,还能支持 Spark、Flink、Tez 等多种计算框架。✅YARN 的目标是:让 Hadoop 成为一个通用的资源调度平台。你可以把 YARN

文章图片
#人工智能
YARN - YARN 和传统调度框架的核心区别与优势

YARN 的出现不仅是 Hadoop 架构的一次重大升级,更是分布式系统设计理念的一次深刻变革。它用“解耦”代替“集中”,用“动态”战胜“静态”,用“通用”取代“专用”,为大数据生态的繁荣奠定了坚实基础。从最初的 MapReduce 加速器,到如今支撑数百种计算引擎的“数据中心操作系统”,YARN 证明了良好抽象的力量。一个好的系统不是做更多的事,而是让别人更容易做成事。无论你是数据工程师、平台开

文章图片
#人工智能
HDFS - 安全模式的原理、触发条件与退出方法

HDFS 安全模式是一种只读保护状态,在此状态下,NameNode 不允许对文件系统执行任何修改操作,例如创建文件、删除目录、重命名路径或追加数据块。它的主要作用是在集群启动或发生异常时,防止因元数据不一致而导致的数据损坏。你可以把安全模式想象成一台电脑刚开机时的“自检阶段”——此时系统正在检查硬盘是否正常挂载、内存是否有错误、关键服务是否就绪。只有当所有检查都通过后,操作系统才会允许用户登录并进

文章图片
#hdfs#安全#hadoop
Kubernetes - 边缘场景下的 K8s 集群部署与应用适配

- 用于边缘本地缓存-- 创建索引加速查询Kubernetes 不是“云端专属”的玩具,它正在成为边缘世界的“操作系统”。我们不再追求“把云搬过去”,而是学会“让边缘自己思考”。当你在树莓派上跑起一个 Java 微服务,它能在断网时自动缓存数据、本地告警、恢复后自动重传,那一刻,你不再是在部署一个容器 —— 你是在赋予一个设备“生命”。边缘的未来,不是“设备联网”,而是“设备自治”。而 Kuber

文章图片
#kubernetes#容器#云原生
Kubernetes - 与 Docker Compose 的协同使用,快速迁移应用

我们一步步走完了:✅ 编写 Java 微服务✅ 使用 Docker Compose 快速本地开发✅ 使用 Kompose 自动转换为 Kubernetes 清单✅ 使用 Kind 模拟生产集群✅ 部署、调试、监控✅ 引入配置管理、健康检查、持久化✅ 设计 CI/CD 流水线✅ 规划未来演进路径🌟核心思想:不要把 Docker Compose 当作“过时技术”,而应将其视为开发者的生产力加速器。K

文章图片
#kubernetes#docker#容器
Kubernetes - kubelet 配置优化,提升节点资源调度效率

预留资源:系统 + kubelet 至少预留 15% 资源,避免 OOM。QoS 优先:生产 Pod 必须设为 Guaranteed(requests == limits)。CPU 管理:启用static策略,减少 GC 延迟。驱逐策略:软阈值 1Gi,硬阈值 500Mi,避免恐慌式驱逐。CRI 优化:containerd 设置,启用 systemd cgroup。系统调优:提升文件描述符、禁用

文章图片
#kubernetes#kubelet#贪心算法
Kubernetes - K8s 集群的日常巡检流程与核心检查项

Kubernetes 不是“部署完就完事”的系统,它是一个需要持续维护的生命体。每天清晨,第一件事不是打开邮箱,而是打开巡检报告。✅ 六大核心检查维度✅ 自动化巡检工具开发方法✅ 集成 Prometheus 与告警体系✅ 安全合规加固要点✅ 巡检报告生成与可视化✅ 将本文代码打包为 Docker 镜像✅ 部署为 CronJob✅ 接入钉钉机器人✅ 每周回顾报告,优化阈值✅ 建立“巡检知识库”,沉淀

文章图片
#kubernetes#容器#云原生
Kubernetes - 理解 Node 的角色与核心状态指标

根据Kubernetes 官方文档,一个 Node 是 Kubernetes 集群中一台能够运行 Pod 的工作机器。云厂商提供的虚拟机(如 AWS EC2、Azure VM、GCP Compute Engine)本地数据中心的物理服务器开发者笔记本上的 Docker Desktop 或 Kind 节点每个 Node 必须运行以下核心组件组件作用是否必须kubelet节点代理,负责 Pod 生命周

文章图片
#kubernetes#贪心算法#容器
    共 1282 条
  • 1
  • 2
  • 3
  • 129
  • 请选择