logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ops-transformer里的MoE算子——让大模型学会“分工合作“

MoE的核心是"分工合作":每个token只激活一小部分专家,模型容量大但计算量小。向量化路由计算:一次矩阵乘算出所有得分部分排序top-k:不排序整个数组,只找前k大的批量专家计算:把所有专家的计算打包成一个大矩阵乘一句话说清楚:MoE让大模型学会"分工",每个token找最擅长的专家处理,而不是让所有参数都参与。昇腾NPU上用MoE,关键是处理好路由和负载均衡。算子本身ops-transfor

文章图片
#transformer#网络#深度学习
ops-cv:让计算机视觉算子在大模型时代也能快起来

ops-cv是昇腾CANN的计算机视觉类算子库,核心价值是把常用CV算子(resize/normalize/NMS/ROI Align等)在昇腾NPU上重新实现,用Vector Core加速,比CPU快10-15倍。核心使用场景目标检测模型的预处理/后处理加速图像分类模型的预处理加速端到端推理链路里的CV算子提速性能收益预处理从20ms降到1.2ms(16.7倍)端到端推理加速1.52倍算子融合再

文章图片
#计算机视觉#人工智能
elec-ops-inspection:电力巡检AI推理的昇腾加速实战

elec-ops-inspection是昇腾CANN社区的电力巡检AI推理专项优化仓库,核心价值是在ops-cv通用CV算子库基础上,针对电力巡检场景做专项优化,推理速度提升2-3倍,小目标检测精度提升61%,模型压缩75%,功耗降低39%。核心使用场景电力巡检AI推理部署(无人机/变电站边缘设备)高分辨率图像(1080p/4K)的实时缺陷检测小目标检测(绝缘子破损/导线发热点/通道异物)边缘设备

文章图片
#人工智能#深度学习
ops-blas:让昇腾NPU上的矩阵乘法快3倍的秘密

ops-blas是昇腾CANN社区的高性能线性代数算子库,核心价值是把GEMM在昇腾NPU上的性能推向理论峰值——算力利用率从38%提升到85%,带宽利用率从45%提升到92%,比PyTorch默认实现快3倍。核心优化技术合理分块:针对Cube Core特性选择最优分块大小(256×128×16),算力利用率提升2.2倍:数据搬运和计算重叠,带宽利用率提升2.0倍算子融合:GEMM和ReLU/Ba

文章图片
#矩阵#线性代数
ops-blas:让昇腾NPU上的矩阵乘法快3倍的秘密

ops-blas是昇腾CANN社区的高性能线性代数算子库,核心价值是把GEMM在昇腾NPU上的性能推向理论峰值——算力利用率从38%提升到85%,带宽利用率从45%提升到92%,比PyTorch默认实现快3倍。核心优化技术合理分块:针对Cube Core特性选择最优分块大小(256×128×16),算力利用率提升2.2倍:数据搬运和计算重叠,带宽利用率提升2.0倍算子融合:GEMM和ReLU/Ba

文章图片
#矩阵#线性代数
elec-ops-inspection:电力巡检AI推理的昇腾加速实战

elec-ops-inspection是昇腾CANN社区的电力巡检AI推理专项优化仓库,核心价值是在ops-cv通用CV算子库基础上,针对电力巡检场景做专项优化,推理速度提升2-3倍,小目标检测精度提升61%,模型压缩75%,功耗降低39%。核心使用场景电力巡检AI推理部署(无人机/变电站边缘设备)高分辨率图像(1080p/4K)的实时缺陷检测小目标检测(绝缘子破损/导线发热点/通道异物)边缘设备

文章图片
#人工智能#深度学习
elec-ops-inspection:电力巡检AI推理的昇腾加速实战

elec-ops-inspection是昇腾CANN社区的电力巡检AI推理专项优化仓库,核心价值是在ops-cv通用CV算子库基础上,针对电力巡检场景做专项优化,推理速度提升2-3倍,小目标检测精度提升61%,模型压缩75%,功耗降低39%。核心使用场景电力巡检AI推理部署(无人机/变电站边缘设备)高分辨率图像(1080p/4K)的实时缺陷检测小目标检测(绝缘子破损/导线发热点/通道异物)边缘设备

文章图片
#人工智能#深度学习
elec-ops-inspection:电力巡检AI推理的昇腾加速实战

elec-ops-inspection是昇腾CANN社区的电力巡检AI推理专项优化仓库,核心价值是在ops-cv通用CV算子库基础上,针对电力巡检场景做专项优化,推理速度提升2-3倍,小目标检测精度提升61%,模型压缩75%,功耗降低39%。核心使用场景电力巡检AI推理部署(无人机/变电站边缘设备)高分辨率图像(1080p/4K)的实时缺陷检测小目标检测(绝缘子破损/导线发热点/通道异物)边缘设备

文章图片
#人工智能#深度学习
ops-cv:让计算机视觉算子在大模型时代也能快起来

ops-cv是昇腾CANN的计算机视觉类算子库,核心价值是把常用CV算子(resize/normalize/NMS/ROI Align等)在昇腾NPU上重新实现,用Vector Core加速,比CPU快10-15倍。核心使用场景目标检测模型的预处理/后处理加速图像分类模型的预处理加速端到端推理链路里的CV算子提速性能收益预处理从20ms降到1.2ms(16.7倍)端到端推理加速1.52倍算子融合再

文章图片
#计算机视觉#人工智能
ops-cv:让计算机视觉算子在大模型时代也能快起来

ops-cv是昇腾CANN的计算机视觉类算子库,核心价值是把常用CV算子(resize/normalize/NMS/ROI Align等)在昇腾NPU上重新实现,用Vector Core加速,比CPU快10-15倍。核心使用场景目标检测模型的预处理/后处理加速图像分类模型的预处理加速端到端推理链路里的CV算子提速性能收益预处理从20ms降到1.2ms(16.7倍)端到端推理加速1.52倍算子融合再

文章图片
#计算机视觉#人工智能
    共 26 条
  • 1
  • 2
  • 3
  • 请选择