logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾大模型迁移适配

本文档重点介绍大模型如何基于MindIE完成迁移,旨在帮忙开发者理清MindIE LLM各层级的作用,要开发一个模型需要实现哪些文件,整个推理的端到端调用链是什么;不会介绍很详细的代码逻辑,本文也不会介绍新的算子如何开发。

#人工智能
基于昇腾的大模型性能分析

性能采集工具MindStudio Insight界面介绍文档包括Timeline、Operator、Memory、Summary、Communication页签。

#人工智能
离线推理性能问题分析

AIPP(Artificial Intelligence Pre-Processing)人工智能预处理,用于在 AI Core 上完成数据预处理,包括改变图像尺寸、色域转换(转换图像格式)、减均值 / 乘系数(改变图像像素),数据预处理之后再进行真正的模型推理。性能调优流程:性能数据采集-》算子层优化-》调度策略调整-》通信机制-》模型编译下发等。:量化可以模型压缩、减少计算量、缩短推理时延,但可

#人工智能
PyTorch模型训推迁移到昇腾实战

牵引快速把在GPU训推的pytorch模型迁移到昇腾硬件上,使用cann,torch_npu, mindie等关键组件

文章图片
#pytorch#华为#人工智能 +1
sd3.5基于mindiesd适配

深入浅出完整解析Stable Diffusion(SD)核心基础知识深入浅出完整解析Stable Diffusion XL(SDXL)核心基础知识深入浅出完整解析Stable Diffusion 3(SD 3)和FLUX.1系列核心基础知识。

#人工智能
昇腾AI入门

如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运

文章图片
#人工智能
昇腾AI入门

如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运

文章图片
#人工智能
昇腾AI入门

如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运

文章图片
#人工智能
昇腾AI入门

如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运

文章图片
#人工智能
昇腾AI入门

如280 TFLOPS FP16算力,指的是每秒280 *(10^12)次半精度浮点运算;560 TOPS INT8算力,指的是每秒560 *(10^12)次整型运算。1MFLOPS: 等于每秒一百万(=10^6)次浮点运算;1GFLOPS: 等于每秒十亿(=10^9)次浮点运算;1TFLOPS: 等于每秒一万亿(=10^12)次浮点运算;1PFLOPS: 等于每秒一千万亿(=10^15)次浮点运

文章图片
#人工智能
    共 26 条
  • 1
  • 2
  • 3
  • 请选择