logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

生产级监控怎么做,Prometheus 加 DCGM 守护推理服务

本文详解生产级大模型推理监控方案,结合 Prometheus 与 DCGM 构建可观测性体系。通过配置显存告警阈值预防 OOM,利用结构化日志分析长尾延迟,确保 AMD ROCm 环境下 vLLM 服务稳定运行,为业务提供坚实底座。

从零开始在 GitHub 上提交第一个 ROCm 修复补丁

本文详解如何在 GitHub 上提交首个 ROCm 修复补丁。从精准定位 Bug、本地复现环境到编写测试与提交 PR,手把手指导开发者解决算子崩溃等问题。通过实战案例,助您轻松迈出贡献开源社区的第一步,共建 GPU 生态。

第一次给开源项目提 PR,我在 Github 上修复了 SGLang 的 ROCm 适配

本文记录首次为 SGLang 开源项目提交 PR 的全过程。作者针对 AMD MI300X 环境下的 ROCm 6.2 驱动适配问题,通过定位版本检测逻辑缺陷、编写补丁并遵循 Github 协作规范,成功修复报错并合并代码。该实践展示了开发者如何参与生态共建,解决大模型推理部署中的兼容性难题。

整理一份 ROCm 开发者的快速排查与错题本

本文整理 ROCm 开发者快速排查指南与错题本,涵盖编译依赖冲突、运行时 Kernel 配置及性能优化策略。通过环境变量检查、动态查询设备属性及算子调优,解决 CUDA 迁移痛点,助力高效开发。

手摸手教你用 HIPify 把 CUDA 代码迁到 ROCm

本文详解如何利用 HIPify 工具将 CUDA 代码高效迁移至 ROCm 平台。通过安装配置、自动扫描转换及手动修复头文件与 API 差异,指导开发者在 AMD GPU 上成功跑通向量加法程序,掌握从 NVIDIA 生态转向 AMD 的关键实战技巧。

#HIPify
LLaMA-Factory 微调大模型之 AMD ROCm 适配笔记

本文详解 LLaMA-Factory 在 AMD ROCm 环境下的低成本大模型微调方案。通过配置后端、优化精度及调整学习率,有效解决梯度爆炸问题,助开发者在消费级显卡上高效完成 LoRA 微调,实现高性价比的开源大模型落地应用。

#LLaMA-Factory#LoRA
从编译报错到服务上线,我的 ROCm 7.x 排错日记

本文记录 ROCm 7.x 环境下从编译报错到服务上线的排错实战。针对链接器罢工、算子不匹配及段错误等难题,提供环境变量配置、架构代码指定与依赖版本锁定方案,助开发者高效部署 PyTorch 与 vLLM,确保大模型推理稳定运行。

#vLLM
从零开始在 GitHub 上提交第一个 ROCm 修复补丁

本文详解如何在 GitHub 上提交首个 ROCm 修复补丁。从精准定位 Bug、本地复现环境到编写测试与提交 PR,手把手指导开发者解决算子崩溃等问题。通过实战案例,助您轻松迈出贡献开源社区的第一步,共建 GPU 生态。

解决 ROCm 环境下依赖冲突与编译报错的实操手册

本文详解 ROCm 环境下依赖冲突与编译报错的解决方案。通过 Conda 隔离环境、正确配置 PyTorch 及 DeepSpeed 安装源,有效规避版本不兼容问题。针对 rocBLAS 缺失等常见错误提供实战修复指南,并倡导建立团队错题本,助力开发者高效解决 AMD 深度学习部署难题。

量化模型在 AMD 显卡上的推理加速,SGLang 配合 INT8 实践

本文详解在 AMD 显卡上利用 SGLang 实现 INT8 量化模型推理加速的实战方案。通过权重预处理与校准数据集优化,解决精度偏差问题,显著降低显存占用并提升吞吐量。该实践为构建低成本、高性能的大模型推理服务提供了高效路径。

    共 119 条
  • 1
  • 2
  • 3
  • 12
  • 请选择