logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Nexent智能体在智能系统中的深度实践与技术落地

Nexent智能体通过多源数据融合与自动推理实现闭环评测体验,支持拖拽式流程编辑和插件化扩展。系统采用统一调度架构,集成内容生成与趋势分析功能,并通过多平台评估实现持续优化。技术亮点包括多模态输出、弹性工作流和资源池化调度,为行业应用提供高效可扩展的智能解决方案。未来将重点优化资源调度和插件生态建设。

文章图片
#开发语言
CANN/ops-math:通用数学算子的高性能封装与多精度适配

AI 计算中大量基础数学运算(矩阵乘法、指数、对数等)的执行效率直接影响整体性能,传统实现难以兼顾多精度支持与硬件利用率。CANN 生态下的ops-math仓库,是一套通用数学算子的高性能封装库,优化了 FP16/FP32/INT8 多精度数学运算,适配 NPU 并行计算特性,为上层算子提供基础数值计算支撑。c运行/*** @brief 矩阵乘法(A×B=C)* @param A 输入矩阵A(M×

文章图片
CANN/catlass:算子开发加速利器:高性能矩阵计算模板库实践

算子开发中,矩阵计算(GEMM)等核心模块的手动优化不仅耗时,还难以适配不同硬件架构。CANN 生态下的catlass仓库,是一套高性能矩阵计算模板库,提供了可配置的 GEMM 模板,支持自定义算子切分策略与数据类型,将算子开发周期从数周缩短至数天,同时保证计算性能。c运行/*** @brief 生成自定义GEMM算子* @param M/N/K 矩阵尺寸(A:M×K, B:K×N, C:M×N)

文章图片
#深度学习
CANN/ops-transformer:大模型专用算子的融合优化与内存高效实现

本文探讨了在CANN中优化自定义激活算子的关键调度策略。针对tanh、sigmoid等复杂非线性操作的性能瓶颈,提出了预处理、缓存优化、循环拆分与重排等深度调度方案。通过示例演示了GELU激活函数的优化实现,包括格式转换、循环拆分、线程绑定和向量化等技巧。文章强调合理利用硬件特性、细化调度策略是提升算子性能的核心,建议开发者掌握调度技巧以充分释放硬件潜力。最后介绍了昇腾CANN训练营的系列课程和认

文章图片
CANN AMCT:AIGC 模型高效部署,平衡性能与创意呈现

本文针对视觉任务中的多尺度特征融合问题,提出了一种高效的硬件定制算子方案。通过动态处理不同尺度特征,采用多级缓存优化、空间块划分和流水线调度等关键技术,显著提升了计算效率。重点阐述了空间划分、循环重排、线程绑定和缓存优化等调度技巧,实现了从"满足正确性"到"极致性能"的转变。该方案有效解决了全局访存瓶颈问题,充分发挥了硬件并行计算潜力,为视觉任务处理提供了优

文章图片
#人工智能
CANN/asnumpy:NPU 原生 NumPy 接口:无拷贝数据处理与自动优化实践

Python 数据处理中,NumPy 是核心工具,但数据在 CPU 与 NPU 间的拷贝开销常制约性能。CANN 生态下的asnumpy仓库,是 NPU 原生的 NumPy 兼容接口库,数据默认驻留 NPU 显存,支持无拷贝数据处理,同时自动适配 NPU 并行计算特性,大幅提升 Python 端 AI 数据处理效率。asnumpy。

#支持向量机
为 AIGC 量身定制:基于 CANN ops-nn 高效实现自定义 SiLU 激活算子

本文介绍了基于CANN ops-nn框架开发高性能SiLU激活函数算子的实践。针对AIGC大模型推理中SiLU函数在FP16精度下的数值溢出问题,通过算子语义注册、Kernel层优化(采用安全clamp和单遍计算)以及模型集成验证三个步骤,实现了比PyTorch默认实现快3.3倍的优化效果。该方案在保持生成质量的同时,显著提升了推理性能,体现了"小算子、大影响"的工程价值,为A

文章图片
#AIGC
CANN AMCT:AIGC模型量化压缩与部署实战指南

AMCT为AIGC模型部署提供了:更高的推理效率更低的资源消耗更好的质量保持更快的部署周期通过智能量化策略和精细控制能力,AMCT帮助开发者实现AIGC模型的高效部署,推动生成式AI技术的实际应用落地。

#java#网络#服务器
CANN AMCT:AIGC 模型量化部署的艺术与科学

CANNamct仓库为 AIGC 开发者提供了强大的模型压缩能力,通过智能量化策略,在保持生成质量的同时显著提升性能。合理的混合精度配置和细致的校准数据选择是实现优化效果的关键。

文章图片
#AIGC
CANN amct:端到端模型压缩工具包:量化、剪枝与精度保持实践

大模型部署到边缘设备时,常因体积过大、计算量过高导致适配困难,传统压缩方法需手动调整参数,难以平衡压缩率与精度。CANN 生态下的amct仓库,是一套端到端模型压缩工具包,集成量化、剪枝、蒸馏等核心技术,在保证精度损失可控的前提下,大幅缩减模型体积与计算量,适配边缘设备部署。c运行// 压缩句柄/*** @brief 初始化压缩实例* @param config 压缩配置(量化位宽、剪枝比例等)*

文章图片
#人工智能
    共 19 条
  • 1
  • 2
  • 请选择