logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾ascend-knowledg-graph在vLLM-Ascend上部署Qwen-3-0.6b模型

阶段Agent 自动完成的事耗时KG 调用次数1. 环境检查拉 4 个 Skill + 跑 5 条本地探测命令1 分钟4 次/source2. 解决兼容调 Skill 看 nnal/ATB 路径 + pip 降级 setuptools2 分钟2 次/source+ 2 次3. 启动服务计算显存利用率 + 写启动脚本1 分钟0 次 (本地命令)4. 验证服务跑 3 项 curl 测试1 分钟0 次

【CANN】-npugraph_ex 图编译加速入门

npugraph_ex = 昇腾 CANN 给 torch.compile 做的后端, 一行代码让 Qwen3-0.6B 推理加速 2-3 倍. 原理: 把"一个算子一个算子排队执行"(Eager 模式) 改成"一次提交整图"(图模式), 消除调度空泡 + 提升并行度.三个关键事实2 个慢因, 1 行解决: Eager 模式有"调度空泡 + 低并行" 2 大问题, npugraph_ex 一行同时

#人工智能
【CANN】-npugraph_ex 图编译加速入门

npugraph_ex = 昇腾 CANN 给 torch.compile 做的后端, 一行代码让 Qwen3-0.6B 推理加速 2-3 倍. 原理: 把"一个算子一个算子排队执行"(Eager 模式) 改成"一次提交整图"(图模式), 消除调度空泡 + 提升并行度.三个关键事实2 个慢因, 1 行解决: Eager 模式有"调度空泡 + 低并行" 2 大问题, npugraph_ex 一行同时

#人工智能
【CANN】-npugraph_ex 图编译加速入门

npugraph_ex = 昇腾 CANN 给 torch.compile 做的后端, 一行代码让 Qwen3-0.6B 推理加速 2-3 倍. 原理: 把"一个算子一个算子排队执行"(Eager 模式) 改成"一次提交整图"(图模式), 消除调度空泡 + 提升并行度.三个关键事实2 个慢因, 1 行解决: Eager 模式有"调度空泡 + 低并行" 2 大问题, npugraph_ex 一行同时

#人工智能
【CANN】-初识

昇腾的异构计算架构. 是一套让上层 AI 框架 (PyTorch / MindSpore) 能跑在昇腾 NPU 芯片上的完整软件栈, 不是单个库或单个工具.CANN 包含 3 个核心交付物交付物角色何时用开发套件 (编译器 / Runtime / 调试器)装一次, 所有 NPU 程序都依赖它CANN Ops 算子包算子库 (内置高性能算子)装一次, 提供基础算子实现NNAL 加速库(可选)Tran

#人工智能
【CANN】-初识

昇腾的异构计算架构. 是一套让上层 AI 框架 (PyTorch / MindSpore) 能跑在昇腾 NPU 芯片上的完整软件栈, 不是单个库或单个工具.CANN 包含 3 个核心交付物交付物角色何时用开发套件 (编译器 / Runtime / 调试器)装一次, 所有 NPU 程序都依赖它CANN Ops 算子包算子库 (内置高性能算子)装一次, 提供基础算子实现NNAL 加速库(可选)Tran

#人工智能
【CANN】-初识

昇腾的异构计算架构. 是一套让上层 AI 框架 (PyTorch / MindSpore) 能跑在昇腾 NPU 芯片上的完整软件栈, 不是单个库或单个工具.CANN 包含 3 个核心交付物交付物角色何时用开发套件 (编译器 / Runtime / 调试器)装一次, 所有 NPU 程序都依赖它CANN Ops 算子包算子库 (内置高性能算子)装一次, 提供基础算子实现NNAL 加速库(可选)Tran

#人工智能
【昇腾推理】-MindIE Turbo 极速入门

MindIE Turbo = 装在 vLLM / vLLM-Ascend 之上的"加速插件库", 不是 vLLM 替代. 它通过4 级开关 + 透明接入 + OS 层调优, 让已有 vLLM 服务无需改代码就能获得性能提升.三个关键事实产品形态 = 插件而非引擎: 与 vLLM-Ascend 不是替代, 是叠加. 装 Turbo 前必须先装好 vLLM-Ascend零代码改动环境变量 + 重启 v

#人工智能
【昇腾推理】-MindIE Turbo 极速入门

MindIE Turbo = 装在 vLLM / vLLM-Ascend 之上的"加速插件库", 不是 vLLM 替代. 它通过4 级开关 + 透明接入 + OS 层调优, 让已有 vLLM 服务无需改代码就能获得性能提升.三个关键事实产品形态 = 插件而非引擎: 与 vLLM-Ascend 不是替代, 是叠加. 装 Turbo 前必须先装好 vLLM-Ascend零代码改动环境变量 + 重启 v

#人工智能
【CANN】-Ascend C 算子开发

AscendC = 昇腾 AI Core 专用算子开发语言, 不是 CUDA for 昇腾. 它用 CopyIn → Compute → CopyOut 三段式 + 显式 TBuf/TQue 内存管理 + 用户写 Tiling 函数实现多核并行, 是 2026 年新算子项目的推荐方案.三个关键事实范式 = 三段式 + 显式数据搬运: 与 CUDA 完全不同, 数据从 Global 到 Local

#c语言#开发语言
    共 34 条
  • 1
  • 2
  • 3
  • 4
  • 请选择