logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vLLM Ascend完全指南(建议收藏!!!)

随着国产算力的普及,越来越多的团队开始在华为昇腾 NPU 上部署大模型推理。但很多人第一次接触时会遇到各种问题:CANN 版本和 PyTorch 版本不兼容、Docker 容器里识别不到 NPU、模型跑起来了但吞吐量上不去、长序列推理直接 OOM。vLLM 作为目前最流行的开源推理引擎,通过 vLLM Ascend 插件正式支持了昇腾 NPU。它让你可以用和 NVIDIA GPU 上几乎一样的方式

文章图片
#人工智能#学习#昇腾
vLLM Ascend完全指南(建议收藏!!!)

随着国产算力的普及,越来越多的团队开始在华为昇腾 NPU 上部署大模型推理。但很多人第一次接触时会遇到各种问题:CANN 版本和 PyTorch 版本不兼容、Docker 容器里识别不到 NPU、模型跑起来了但吞吐量上不去、长序列推理直接 OOM。vLLM 作为目前最流行的开源推理引擎,通过 vLLM Ascend 插件正式支持了昇腾 NPU。它让你可以用和 NVIDIA GPU 上几乎一样的方式

文章图片
#人工智能#学习#昇腾
vLLM Ascend完全指南(建议收藏!!!)

随着国产算力的普及,越来越多的团队开始在华为昇腾 NPU 上部署大模型推理。但很多人第一次接触时会遇到各种问题:CANN 版本和 PyTorch 版本不兼容、Docker 容器里识别不到 NPU、模型跑起来了但吞吐量上不去、长序列推理直接 OOM。vLLM 作为目前最流行的开源推理引擎,通过 vLLM Ascend 插件正式支持了昇腾 NPU。它让你可以用和 NVIDIA GPU 上几乎一样的方式

文章图片
#人工智能#学习#昇腾
昇腾NPU显存管理避坑指南:从npu-smi输出精准识别空闲卡的底层逻辑与实战

在AI基础设施规模不断扩大的今天,算力资源的高效利用是每一个AI工程师必须面对的课题。昇腾NPU作为国产算力的中坚力量,其生态正在快速完善。掌握npu-smi这一基础而强大的工具,不仅能够帮助我们快速排除故障,更是实现精细化资源调度的前提。回顾本文的核心要点:第一,是查看昇腾NPU状态的瑞士军刀,分为物理卡状态和进程详情两部分。第二,判断空闲卡的金标准是“进程列表无记录 + 显存占用处于基础底噪”

文章图片
#数据库#服务器#网络
昇腾NPU显存管理避坑指南:从npu-smi输出精准识别空闲卡的底层逻辑与实战

在AI基础设施规模不断扩大的今天,算力资源的高效利用是每一个AI工程师必须面对的课题。昇腾NPU作为国产算力的中坚力量,其生态正在快速完善。掌握npu-smi这一基础而强大的工具,不仅能够帮助我们快速排除故障,更是实现精细化资源调度的前提。回顾本文的核心要点:第一,是查看昇腾NPU状态的瑞士军刀,分为物理卡状态和进程详情两部分。第二,判断空闲卡的金标准是“进程列表无记录 + 显存占用处于基础底噪”

文章图片
#数据库#服务器#网络
我把自己蒸馏成了AI Skill!手把手教你打造数字分身,全程零代码

Agent Skills 是 Anthropic 于2025年10月正式推出的AI技能标准。一个 Skill 本质上是一个包含SKILL.md文件的目录,用 YAML frontmatter 定义元数据(名称、描述、触发条件),用 Markdown 正文定义 AI 在特定场景下的行为模式、工作流程和回答规范。AI 工具(Claude Code、Cursor、Codex 等)在启动时会加载 Skil

文章图片
#人工智能#python
Python进阶探索22-Python中的os模块

os模块是Python标准库中最基础、最重要的模块之一。它作为Python代码与操作系统之间的桥梁,提供了跨平台的文件操作、目录管理、环境变量、进程管理等核心能力。从Python早期版本诞生至今,os模块不断演进优化,特别是的引入带来了数量级的性能提升。在实际项目中,我们应该根据场景选择合适的工具:路径操作用pathlib更优雅,系统级操作必须用os,文件复制移动用shutil,模式匹配用glob

文章图片
#python#开发语言#安全 +1
Python进阶探索21 - Python中的文件

参考答案文件描述符(File Descriptor)是操作系统为每个打开的文件分配的整数标识,系统的文件描述符数量是有限的(Linux默认通常是1024)。如果打开文件后不关闭,文件描述符就会被持续占用,最终耗尽系统资源,导致新的文件无法打开,报错误。这就是文件描述符泄漏。避免方法永远使用with语句打开文件,确保__exit__中自动关闭如果必须手动管理,用确保close()在finally中执

文章图片
#python#开发语言#人工智能
华为昇腾MindStudio全流程开发工具链实战指南:从入门到企业级落地

根据昇腾社区官方文档,MindStudio 是华为面向昇腾 AI 开发者提供的全流程工具链,致力于提供端到端的昇腾 AI 应用开发解决方案,使能开发者高效完成训练开发、推理开发和算子开发。截至 2026 年 7 月,最新正式商用版本为,配套 CANN 9.0.0/9.1.0,全面适配昇腾 950 系列产品。MindStudio 作为华为昇腾 AI 生态的核心开发工具链,已经从早期的推理开发工具演进

文章图片
#华为#人工智能#大数据
华为昇腾MindStudio全流程开发工具链实战指南:从入门到企业级落地

根据昇腾社区官方文档,MindStudio 是华为面向昇腾 AI 开发者提供的全流程工具链,致力于提供端到端的昇腾 AI 应用开发解决方案,使能开发者高效完成训练开发、推理开发和算子开发。截至 2026 年 7 月,最新正式商用版本为,配套 CANN 9.0.0/9.1.0,全面适配昇腾 950 系列产品。MindStudio 作为华为昇腾 AI 生态的核心开发工具链,已经从早期的推理开发工具演进

文章图片
#华为#人工智能#大数据
    共 198 条
  • 1
  • 2
  • 3
  • 20
  • 请选择