logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾NPU上编译Apex:从踩坑到搞定

更新系统# 编译工具# Python开发包# torchApex编译看似简单,实则暗藏许多细节。本文通过真实案例,深入剖析了从网络代理到系统库路径的各个环节。Docker守护进程代理配置容易漏lib和lib64路径差异编译脚本会覆盖手动修改希望大家可以学习一些经验教训,对于大模型训练来说,Apex基本是必备工具。昇腾适配版虽然有些小坑,但整体可用性还不错,注明:昇腾PAE案例库对本文写作亦有帮助。

文章图片
#人工智能
昇腾NPU上编译Apex:从踩坑到搞定

更新系统# 编译工具# Python开发包# torchApex编译看似简单,实则暗藏许多细节。本文通过真实案例,深入剖析了从网络代理到系统库路径的各个环节。Docker守护进程代理配置容易漏lib和lib64路径差异编译脚本会覆盖手动修改希望大家可以学习一些经验教训,对于大模型训练来说,Apex基本是必备工具。昇腾适配版虽然有些小坑,但整体可用性还不错,注明:昇腾PAE案例库对本文写作亦有帮助。

文章图片
#人工智能
DeepSeek-R1-671B W8A8 昇腾NPU双机部署实战指南

这套方案的核心价值在于把千亿级MoE模型的部署成本降到了两台服务器的级别,而且性能和精度都没打太多折扣。对比国外同类方案,昇腾硬件的性价比优势明显,特别适合预算有限但又想用顶级模型的团队。后续我们会继续测试更长的上下文长度(32K+)和专家并行的优化空间,有新进展会同步更新。

文章图片
#人工智能
DeepSeek-R1-671B W8A8 昇腾NPU双机部署实战指南

这套方案的核心价值在于把千亿级MoE模型的部署成本降到了两台服务器的级别,而且性能和精度都没打太多折扣。对比国外同类方案,昇腾硬件的性价比优势明显,特别适合预算有限但又想用顶级模型的团队。后续我们会继续测试更长的上下文长度(32K+)和专家并行的优化空间,有新进展会同步更新。

文章图片
#人工智能
重构Java开发范式:多Agent智能体如何重塑AI时代工程开发

重构Java开发范式:多Agent智能体如何重塑AI时代工程开发

文章图片
#人工智能#重构#java
我用飞算JavaAI做了一个校园失物招领管理平台,来参加这场炫技赛

我用飞算JavaAI做了一个校园失物招领管理平台,来参加这场炫技赛

文章图片
人眼看不出的伪造,AI如何识别?实测合合信息跨模态鉴伪与去反光技术

随着生成式AI降低内容伪造门槛,图片、视频和文本的真实性已成为金融审核、电商风控、保险理赔和内容治理的重要基础。本文结合2026世界人工智能大会现场体验,介绍合合信息AI跨模态鉴伪与扫描全能王“智能高清·去反光”技术。前者针对图片、视频和文本,综合分析语义、频域、噪声、时序和逻辑特征,识别AI生成、局部篡改及可疑区域;后者通过分离透射内容与玻璃反射,在保留结构、纹理和色彩的同时恢复被遮挡信息。

文章图片
#人工智能#AIGC
人眼看不出的伪造,AI如何识别?实测合合信息跨模态鉴伪与去反光技术

随着生成式AI降低内容伪造门槛,图片、视频和文本的真实性已成为金融审核、电商风控、保险理赔和内容治理的重要基础。本文结合2026世界人工智能大会现场体验,介绍合合信息AI跨模态鉴伪与扫描全能王“智能高清·去反光”技术。前者针对图片、视频和文本,综合分析语义、频域、噪声、时序和逻辑特征,识别AI生成、局部篡改及可疑区域;后者通过分离透射内容与玻璃反射,在保留结构、纹理和色彩的同时恢复被遮挡信息。

文章图片
#人工智能#AIGC
昇腾NPU小模型推理性能调优实战:从1.5s到0.7s的优化之路

不要相信第一感觉最开始觉得是.to('cpu')的问题,结果profiling后发现完全不是。性能问题一定要用工具定位,不能靠猜。Profiling是必备技能MindStudio的Timeline视图非常直观,能精确到每个算子的微秒级耗时。建议每个做昇腾开发的同学都学会用。Warmup很重要昇腾NPU首次推理会慢很多(算子编译+缓存预热),线上服务一定要做充分的warmup。版本很关键很多优化特性

文章图片
#人工智能
昇腾NPU小模型推理性能调优实战:从1.5s到0.7s的优化之路

不要相信第一感觉最开始觉得是.to('cpu')的问题,结果profiling后发现完全不是。性能问题一定要用工具定位,不能靠猜。Profiling是必备技能MindStudio的Timeline视图非常直观,能精确到每个算子的微秒级耗时。建议每个做昇腾开发的同学都学会用。Warmup很重要昇腾NPU首次推理会慢很多(算子编译+缓存预热),线上服务一定要做充分的warmup。版本很关键很多优化特性

文章图片
#人工智能
    共 108 条
  • 1
  • 2
  • 3
  • 11
  • 请选择