
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文详解生产级大模型推理监控方案,结合 Prometheus 与 DCGM 构建可观测性体系。通过配置显存告警阈值预防 OOM,利用结构化日志分析长尾延迟,确保 AMD ROCm 环境下 vLLM 服务稳定运行,为业务提供坚实底座。
本文详解如何在 GitHub 上提交首个 ROCm 修复补丁。从精准定位 Bug、本地复现环境到编写测试与提交 PR,手把手指导开发者解决算子崩溃等问题。通过实战案例,助您轻松迈出贡献开源社区的第一步,共建 GPU 生态。
本文记录首次为 SGLang 开源项目提交 PR 的全过程。作者针对 AMD MI300X 环境下的 ROCm 6.2 驱动适配问题,通过定位版本检测逻辑缺陷、编写补丁并遵循 Github 协作规范,成功修复报错并合并代码。该实践展示了开发者如何参与生态共建,解决大模型推理部署中的兼容性难题。
本文整理 ROCm 开发者快速排查指南与错题本,涵盖编译依赖冲突、运行时 Kernel 配置及性能优化策略。通过环境变量检查、动态查询设备属性及算子调优,解决 CUDA 迁移痛点,助力高效开发。
本文详解如何利用 HIPify 工具将 CUDA 代码高效迁移至 ROCm 平台。通过安装配置、自动扫描转换及手动修复头文件与 API 差异,指导开发者在 AMD GPU 上成功跑通向量加法程序,掌握从 NVIDIA 生态转向 AMD 的关键实战技巧。
本文详解 LLaMA-Factory 在 AMD ROCm 环境下的低成本大模型微调方案。通过配置后端、优化精度及调整学习率,有效解决梯度爆炸问题,助开发者在消费级显卡上高效完成 LoRA 微调,实现高性价比的开源大模型落地应用。
本文记录 ROCm 7.x 环境下从编译报错到服务上线的排错实战。针对链接器罢工、算子不匹配及段错误等难题,提供环境变量配置、架构代码指定与依赖版本锁定方案,助开发者高效部署 PyTorch 与 vLLM,确保大模型推理稳定运行。
本文详解如何在 GitHub 上提交首个 ROCm 修复补丁。从精准定位 Bug、本地复现环境到编写测试与提交 PR,手把手指导开发者解决算子崩溃等问题。通过实战案例,助您轻松迈出贡献开源社区的第一步,共建 GPU 生态。
本文详解 ROCm 环境下依赖冲突与编译报错的解决方案。通过 Conda 隔离环境、正确配置 PyTorch 及 DeepSpeed 安装源,有效规避版本不兼容问题。针对 rocBLAS 缺失等常见错误提供实战修复指南,并倡导建立团队错题本,助力开发者高效解决 AMD 深度学习部署难题。
本文详解在 AMD 显卡上利用 SGLang 实现 INT8 量化模型推理加速的实战方案。通过权重预处理与校准数据集优化,解决精度偏差问题,显著降低显存占用并提升吞吐量。该实践为构建低成本、高性能的大模型推理服务提供了高效路径。







