logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从训练到推理:基于 CANN `modelzoo-examples` 的端到端模型部署实战

不仅仅是一个示例仓库,它是一套经过工业验证的AI 模型部署方法论。快速验证模型在 NPU 上的可行性避免重复造轮子,复用最佳实践构建可维护、可扩展的推理服务对于希望将 AI 模型从实验室推向生产环境的团队来说,深入研究是迈向高效部署的关键一步。建议行动:选择你当前项目中最核心的模型,在中找到最接近的示例,进行 1:1 迁移实验。如需继续探索其他 CANN 项目(如等),或希望了解特定模型(如 St

#开发语言
CANN 开源生态解析(三):`model-compressor` —— 让大模型“瘦身”又提速

不仅是一个工具,更是一种模型高效化范式的体现。它让开发者从繁琐的手动调优中解放出来,聚焦于业务逻辑本身。在“大模型时代”,压缩不再是可选项,而是必经之路。结合前文介绍的(高性能算子)与(统一部署接口),完成了 CANN 生态中“压缩 → 加速 → 部署” 的闭环,真正实现了端到端的 AI 高效计算流水线。下一期预告:我们将探索 CANN 中的分布式训练框架,看它如何支撑千亿参数模型的高效训练。欢迎

#开源
CANN 开源项目深度解读:以 `ops-transformer` 为例探索大模型加速计算

不仅是 CANN 生态中的一项关键技术成果,更是国产 AI 算力自主创新的重要体现。它通过对核心算子的精细化优化,实现了从“能跑”到“跑得快”的跨越,为大模型落地提供了坚实支撑。如果你正在从事 AI 模型开发或部署工作,不妨尝试接入,体验真正的高性能计算魅力。同时,也欢迎加入 CANN 开源社区,一起共建更强大的 AI 未来!项目地址官方文档本文基于 CANN 开源项目内容撰写,所有信息均来自公开

#开源#transformer#深度学习
阿米的千卡攻坚日记:用 HCCn 优化 Llama-3 分布式训练,通信开销降低 60%

分布式训练不是“跑起来就行”,而是对硬件、网络、算法的极限压榨。HCCn 提供的不仅是 API,更是对 Ascend 集群通信能力的深度暴露。未来,我计划将此方案贡献至 CANN 官方仓库,并探索与 ZeRO-3 的集成。🚀开源地址包含完整训练脚本、MsProf 分析报告、网络配置检查清单。💬阿米最后说“在 AI 时代,算力是石油,而通信是输油管道。我们不仅要挖得更深,更要让每一滴油都流得更快

#分布式
CANN 量化部署实战:打造 <5GB 显存的 Llama-2-7B 推理引擎

cann组织链接:https://atomgit.com/cannops-nn仓库链接:https://atomgit.com/cann/ops-nn1. 量化脚本Hugging Face ModelINT4 模型文件C++ 推理引擎shmem: 共享 KV Cache INT8ge: 构建量化计算图tbe: Int4Gemm / Int8KV / FusedAttentionhcll: Host

阿米的千卡攻坚日记:用 HCCn 优化 Llama-3 分布式训练,通信开销降低 60%

分布式训练不是“跑起来就行”,而是对硬件、网络、算法的极限压榨。HCCn 提供的不仅是 API,更是对 Ascend 集群通信能力的深度暴露。未来,我计划将此方案贡献至 CANN 官方仓库,并探索与 ZeRO-3 的集成。🚀开源地址包含完整训练脚本、MsProf 分析报告、网络配置检查清单。💬阿米最后说“在 AI 时代,算力是石油,而通信是输油管道。我们不仅要挖得更深,更要让每一滴油都流得更快

#分布式
CANN 量化部署实战:打造 <5GB 显存的 Llama-2-7B 推理引擎

cann组织链接:https://atomgit.com/cannops-nn仓库链接:https://atomgit.com/cann/ops-nn1. 量化脚本Hugging Face ModelINT4 模型文件C++ 推理引擎shmem: 共享 KV Cache INT8ge: 构建量化计算图tbe: Int4Gemm / Int8KV / FusedAttentionhcll: Host

告别手动剪辑!MoneyPrinterTurbo让短视频生产效率翻倍

cpolar 是一款内网穿透工具,可以将你在局域网内运行的服务(如本地 Web 服务器、SSH、远程桌面等)通过一条安全加密的中间隧道映射至公网,让外部设备无需配置路由器即可访问。广泛支持 Windows、macOS、Linux、树莓派、群晖 NAS 等平台,并提供一键安装脚本方便部署。本文带你完整实现了高效生产:只需输入主题,AI 自动完成脚本生成、素材匹配、语音合成与视频剪辑,大幅提升内容产出

文章图片
#音视频
自定义算子开发实战:基于 CANN 的 `custom-op-samples` 项目解析

使用了论文中提出的新型算子(如 Swin Transformer 中的窗口注意力)需要融合多个操作以减少内存拷贝(如 LayerNorm + GeLU 融合)原有算子不支持特定数据布局或精度(如 BF16 输入)此时,仅依赖内置算子将无法满足模型部署需求。CANN 提供的自定义算子机制允许开发者编写符合 NPU 硬件特性的高性能算子,并无缝集成到推理流程中。而项目正是官方提供的最佳实践模板库,帮助

#开发语言
深度解析 CANN 开源项目:以 `ops-transformer` 为例,构建高效 AI 推理加速方案

是 CANN 生态中的一个关键子项目,专注于提供针对 Transformer 架构的大模型专用高性能算子。该项目旨在实现神经网络在 NPU 硬件上的加速计算,尤其适用于自然语言处理(NLP)、语音识别、多模态等任务中广泛使用的 Transformer 模型。以下是一个简化版的代码示例,展示如何基于实现一个轻量级的 Transformer 解码器层,并在 NPU 上执行推理。CANN 的开源项目为开

#人工智能#开源#transformer
    共 36 条
  • 1
  • 2
  • 3
  • 4
  • 请选择