logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

《打造高效算力池:HAMi 探索异构算力调度的最佳实践》— 李孟轩

随着大模型训练与推理规模不断扩大,企业对 GPU、XPU 等异构算力的调度需求变得更复杂、更多样。作为目前业内专注于异构 GPU 资源共享和调度的开源项目,HAMi 在 2.7.0 版本中完成了多项关键升级,并在 2.8.0 版本 Roadmap 中进一步规划了调度性能和 DRA 方向的演进,使 GPU 资源管理从“可用”迈向“更易用、更统一、更高性能”。在本次演讲中,HAMi 核心 mainta

#科技
《打造高效算力池:HAMi 探索异构算力调度的最佳实践》— 李孟轩

随着大模型训练与推理规模不断扩大,企业对 GPU、XPU 等异构算力的调度需求变得更复杂、更多样。作为目前业内专注于异构 GPU 资源共享和调度的开源项目,HAMi 在 2.7.0 版本中完成了多项关键升级,并在 2.8.0 版本 Roadmap 中进一步规划了调度性能和 DRA 方向的演进,使 GPU 资源管理从“可用”迈向“更易用、更统一、更高性能”。在本次演讲中,HAMi 核心 mainta

#科技
活动开启!首场线下 HAMi Meetup,不卷算力卷效率!

摘要: HAMi社区将于2025年11月30日在上海举办首场线下Meetup,聚焦异构GPU资源调度效率提升。作为CNCF开源项目,HAMi支持NVIDIA、昇腾等多元芯片,通过轻量化虚拟化方案提高GPU利用率,已落地金融、智驾等200+企业。活动汇聚CNCF、蔚来、沐曦等技术专家,分享调度优化、硬件适配等实战经验,助力解决算力浪费问题。席位有限,扫码海报即可报名。(149字)

文章图片
基于 HAMi 实现亚马逊云科技 Trainium 与 Inferentia 核心级共享与策略性拓扑调度

HAMi 对亚马逊云科技 Neuron 的支持,在设计上体现了清晰的工程哲学:用策略代替扫描,用简约实现高效。其拓扑寻优算法,通过识别实例类型并将拓扑问题简化为寻找连续的设备索引,以极低的复杂度实现了与亚马逊云科技官方调度器行为一致的高性能调度。这种务实的设计,不仅确保了多设备任务能够充分利用 Neuron 硬件的底层高速互联优势,也为用户提供了灵活、易用的云原生 AI 算力调度体验。参考资料。

#科技
Xinference × HAMi | 共建异构算力新基座,让 AI 推理更普惠、更高效

已合并到官方 Helm Charts,开启 vGPU 只需在 values 里打开开关(Supervisor/Worker 可分别启用)。把 Xinference 的“多模型易用 + OpenAI-兼容”与 HAMi 的“细粒度 vGPU 配额 + 统一治理”结合起来,就能在。这类场景非常适合:Embedding/Rerank/小语音/轻量 Agent 工具模型,并发量大但单模型占用小。模型推理进

文章图片
#人工智能
Xinference × HAMi | 共建异构算力新基座,让 AI 推理更普惠、更高效

已合并到官方 Helm Charts,开启 vGPU 只需在 values 里打开开关(Supervisor/Worker 可分别启用)。把 Xinference 的“多模型易用 + OpenAI-兼容”与 HAMi 的“细粒度 vGPU 配额 + 统一治理”结合起来,就能在。这类场景非常适合:Embedding/Rerank/小语音/轻量 Agent 工具模型,并发量大但单模型占用小。模型推理进

文章图片
#人工智能
【原理解析】HAMi × NVIDIA | GPU 拓扑感知调度实现详解

用动态发现代替静态配置,用远见决策代替短视分配。其设备端的双策略寻优算法,通过消费预先计算好的“通信分数”,兼顾了当前任务的极致性能与集群资源的长期健康,构成了一套成熟、高效的 GPU 调度方案,为用户在云原生环境中运行大规模 AI 训练与 HPC 任务提供了坚实的性能保障。参考资料设计文档使用文档NVIDIA GPU 拓扑调度启用指南相关PRs。

文章图片
#人工智能#大数据#机器学习
到底了