登录社区云，与社区用户共同成长
邀请您加入社区
本文详解个人开发者如何利用 Ryzen AI 与 Radeon 显卡组合，在端侧高效部署大语言模型。通过 Ollama 和 LM Studio 实战教程，展示统一内存架构如何突破显存瓶颈，实现低功耗、高隐私的本地推理，为离线开发提供全新思路。
本文详解在 Strix Halo 平台部署 Qwen2-72B 推理服务的全流程。涵盖 Ubuntu 内核校准、ROCm 6.4 驱动适配及 vLLM 专属版本安装，重点解析 PagedAttention 内存调优策略。通过优化 FlashAttention 与显存配置，实现在 32GB 统一内存下高效运行大模型，为移动端 AI 部署提供实战指南。
本文详解 AMD Instinct GPU 多卡并行配置，涵盖硬件拓扑分析、vLLM 张量并行参数设置及 RCCL 通信优化。通过进程绑核与性能监控实战，解决延迟抖动问题，助您构建高效的大模型推理集群。
电池SOC/SOH仿真算法、整车控制器嵌入式代码、车主端数字化应用开发，涉及多语言、多仿真工具、多硬件平台协同，传统云端AI编码工具存在代码泄密、算力成本高、离线无法工作等缺陷。本文归属端侧AI创新赛道，以本地万亿大模型私有化部署、RAG本地知识库、模型量化NPU加速三大AMD端侧核心技术为基础，从理论层面完整推演一套面向新能源汽车新型电控研发、配套社会应用程序的本地AI开发全流程方案，具备完整技
本文实测 Radeon RX 7900 XTX 运行大语言模型的极限性能。通过 INT4 量化技术，24GB 显存可流畅驱动 70B 参数模型。文章详解 Ollama 与 LM Studio 的 ROCm 部署优化及散热超频策略，为 DIY 爱好者提供高性价比的本地 AI 工作站搭建指南。
本文详解如何利用 LM Studio 在 Radeon GPU 上轻松部署本地大语言模型。通过可视化界面支持 Vulkan 与 ROCm 后端，无需代码即可实现高效 AI 聊天。文章涵盖模型量化选择、显存管理及系统提示词定制，助小白用户零门槛玩转隐私安全的本地 AI 应用。
ZLUDA是一个革命性的开源项目，它允许开发者在非NVIDIA GPU上运行未经修改的CUDA应用程序，为AMD GPU用户提供了前所未有的CUDA兼容性。作为CUDA on non-NVIDIA GPUs的完美替代方案，ZLUDA通过智能的API转换和运行时适配，让原本只能在NVIDIA显卡上运行的CUDA代码能够在AMD GPU上以接近原生性能执行。对于需要跨平台GPU计算支持的开发者而言，Z
场景硬件模型性能推理流畅运行，Q4_K_M 量化推理上下文窗口可推至 50k+推理 (云)MTP 加速 54.48 tok/s。
摘要： 本地部署AI模型为创意工作者提供了高效、灵活的创作环境，其核心优势在于算力独占性、低延迟和高度自定义。通过优化架构和参数设置，本地环境在图像生成、视频处理、多任务并发等方面展现出卓越性能，支持高质量、实时交互的创作流程。虽然初期搭建有一定门槛，但本地部署带来的稳定性、掌控感和成本效益使其成为数字创作的理想选择。合理配置硬件和软件优化可进一步提升能效比，满足不同规模的创作需求。
最近入手了一台搭载 NPU 的新款笔记本，最初只是好奇端侧 AI 到底能跑多快，结果在实际使用中发现，它彻底改变了我对本地大模型和图像生成的认知。以前总觉得跑个 7B 参数的模型得靠云端显卡，或者本地得插一张厚重的独立显卡，风扇转得像起飞一样。但这台机器在安静无声的状态下，就能流畅地运行对话助手，甚至实时生成图片，这种体验上的反差让人印象深刻。对于很多开发者、内容创作者以及注重隐私的用户来说，如何
