logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

CANN大模型推理优化技术解读:从KV Cache到PagedAttention的优化策略

大语言模型推理面临着内存占用大、延迟高、吞吐量低等挑战。CANN针对大模型推理提供了一系列优化技术,包括KV Cache优化、连续批处理、PagedAttention等。本文将深入解读大模型推理的优化原理、实现机制以及性能调优策略,帮助你在NPU上高效部署大模型。内存优化:KV Cache、PagedAttention批处理:连续批处理、动态调度计算优化:Flash Attention、算子融合服

文章图片
#人工智能
CANN GE图引擎深度解读:深度学习计算图的编译与优化核心

深度学习框架(PyTorch、TensorFlow)定义的模型,怎么在NPU上高效执行?这中间需要一个"翻译官"——把框架的计算图转换成NPU能理解和执行的指令。GE(Graph Engine)就是这个"翻译官",它是CANN的图引擎,负责计算图的编译、优化和执行。框架层(PyTorch/MindSpore)↓计算图(Graph)↓GE图引擎 ← 这一层- 图解析- 图优化- 算子选择- 内存分配

文章图片
#人工智能
CANN OPS算子库全景解析:深度学习计算的基础构建块

深度学习模型的训练和推理,本质上就是大量算子(Operator)的组合执行。卷积、矩阵乘法、激活函数,这些都是算子。CANN的OPS算子库提供了丰富的算子实现,覆盖神经网络、数学计算、计算机视觉等多个领域。# 前向计算# 反向计算# 使用ops-nn:神经网络算子(卷积、归一化、激活等)ops-math:数学计算算子(矩阵运算、规约等)ops-cv:计算机视觉算子(图像处理、几何变换等)支持算子融

文章图片
#AIGC
CANN模型并行技术实践:大模型分布式训练与推理策略

随着模型规模的不断增大,单卡已无法容纳完整模型。模型并行技术通过将模型分割到多个设备上,使得训练超大规模模型成为可能。CANN提供了完整的模型并行支持。本文将深入解读CANN模型并行的原理、实现方式、通信优化以及最佳实践,帮助你高效训练和部署大模型。并行策略:数据并行、模型并行、流水线并行、张量并行流水线优化:GPipe、1F1B调度通信优化:计算通信重叠、梯度压缩混合并行:3D并行、灵活组合最佳

文章图片
#人工智能
React Native 鸿蒙跨平台开发:useColorScheme 自定义鸿蒙端深色模式的主题配色

核心 API/Hook作用说明核心特性核心 Hook,获取当前系统的配色方案,返回值为'light''dark'undefined响应式监听,系统切换主题时自动触发组件重渲染,鸿蒙端原生支持同步获取当前系统配色方案的方法,和返回值一致非响应式,适合在非组件的工具类 / 常量文件中调用手动监听系统主题切换事件,可自定义监听回调逻辑全局监听,适合全局主题状态统一更新,鸿蒙端无延迟移除主题切换监听,防止

文章图片
#react native#harmonyos#react.js
React Native 鸿蒙跨平台开发:LayoutAnimation 实现鸿蒙端按钮点击的缩放反馈动画

▸:React Native 官方纯内置动画核心 API,无需任何依赖,直接导入即可使用,鸿蒙 RN 环境原生支持,无兼容性问题。▸ 核心作用:专门监听组件的「布局 / 尺寸 / 位置」变化,自动为变化过程添加平滑的过渡动画,无需手动控制动画执行与结束。▸ 本次核心场景:按钮点击时「缩小→回弹」的缩放反馈动画,是鸿蒙 APP 中最常用的按钮交互效果,贴合鸿蒙系统的用户操作习惯。可自定义动画的执行时

文章图片
#react native#harmonyos#react.js
React Native 鸿蒙跨平台开发:PanResponder 实现鸿蒙端组件的拖拽交互功能

本次实现拖拽的核心是 PanResponderAnimated核心 API作用RN 官方手势响应系统,用于监听组件的触摸、拖拽、释放等手势事件,可精准获取手势的位移、速度等数据AnimatedRN 内置动画库,用于处理拖拽过程中组件位置的平滑更新,避免拖拽卡顿,实现流畅的位移过渡动画容器组件,将拖拽的位置数据绑定到组件的transform属性,实现位置实时更新。

文章图片
#react native#harmonyos#交互
React Native 鸿蒙跨平台开发:TextInput 数据键盘实现与最大文字长度限制

实现「专属数据键盘 + 精准长度限制」,无多余功能,代码极简无冗余,TypeScript 零报错,零基础可直接复制运行,是理解输入控制核心逻辑的入门最佳案例,覆盖 3 个鸿蒙端最高频的输入场景,满足日常开发 80% 的需求。,按出现频率排序,问题现象贴合开发实际,解决方案均为「一行代码 / 简单配置」,零基础可直接套用,所有方案均为鸿蒙端专属最优解,彻底规避所有输入相关的报错、键盘不生效、长度限制

文章图片
#react native#react.js#javascript +1
React Native 鸿蒙跨平台开发:Animated 实现鸿蒙端组件的旋转 + 缩放组合动画

核心 API / 组件作用说明本次必用动画核心值,存储动画的实时进度值(0~1 为主),是所有动画的基础✔️ 核心动画容器组件,承载动画样式的组件载体,可替换普通View使用✔️ 核心弹簧动画函数,实现带回弹效果的动画,适合点击反馈 / 回弹缩放 / 回弹旋转,鸿蒙端交互首选✔️ 核心线性动画函数,实现匀速的过渡动画,适合平滑旋转、匀速缩放、固定速率的组合动画✔️ 核心动画循环函数,实现动画的无限

文章图片
#react native#harmonyos#react.js
    共 120 条
  • 1
  • 2
  • 3
  • 12
  • 请选择