本文介绍了当前 Kubernetes 在大语言模型应用场景中的资源调度和管理面临的现状和挑战。简单介绍了 Volcano 的核心概念和组件功能。并提供了一些基础的任务示例

本文介绍了Kubernetes 调度系统的内部机制，并成功构建、部署了一个自定义的 Scheduler 插件。然后采用nginx完整示例演示自定义Scheduler 插件如何发挥作用的

Triton Inference Server与TensorRT_LLM 结合实战，提高推理模型服务的吞吐量和效率

本篇主要介绍了 Kubernetes 使用 rdma 高速网络的介绍和实战。将高性能技术扩展到容器领域

DeepSpeed 是一个基于 PyTorch 构建的深度学习优化库。它提供了一系列先进的技术，使得用户能够训练参数量高达数万亿的模型，并显著提升训练和推理的速度与效率。DeepSpeed 的核心目标是让大规模模型训练变得更加普惠和高效。

主要是补充了NVMe-oF,NCCL,MPI 三个组件的测试调试示例

本篇将采用Qwen2.5 3b微调全流程在 Kubeflow跑一遍。然后用实战的方式介绍 Kubeflow的各个模块是怎么衔接和协作的。

以非人工智能科班，跨界研发人员的视角拆解分析 deepseek r1 的推理模型文件的层次结构，希望能从最小的计算机实体存在的方式认识推理模型为何物？通过直观的认识再去了解大模型相关

复现验证了 POLAR 论文中的设计思路和方法。

整理了大语言模型对于硬件方面的诉求和硬件各个部件指标的梳理归纳总结。希望从硬件的各个参数指标对于不同场景下的大语言模型的影响。