logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾系列--yolo26移植:使用atc将模型yolo26转换成om,基于昇腾310推理并计算MAP,误差达到千分之一

本文介绍ATC工具使用,yolo26模型转换,模型移植,以及模型MAP计算方法,最终验证om模型精度与原始模型pt精度误差达到千分之一

文章图片
#人工智能#python#目标检测 +1
昇腾系列--yolo26移植:使用atc将模型yolo26转换成om,基于昇腾310推理并计算MAP,误差达到千分之一

本文介绍ATC工具使用,yolo26模型转换,模型移植,以及模型MAP计算方法,最终验证om模型精度与原始模型pt精度误差达到千分之一

文章图片
#人工智能#python#目标检测 +1
昇腾系列--Qwen2.5-Omni推理调优:vllm-ascend开启全图模式+异步,推理性能提升1.2X倍

本文介绍了Qwen2.5-Omni-7B模型在Atlas800TA2硬件上的环境部署和性能优化过程,推理性能提升为原来的1.2X倍

文章图片
#人工智能
昇腾系列--音频压测:基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B,并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能

本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上,完成vllm-ascend框架的环境安装,并成功加载Qwen2.5-Omni-7B模型服务,使用aisbench工具对模型的音频转文字性能进行压测。

文章图片
#python#语音识别#人工智能 +1
昇腾系列--vllm框架性能分析:获取vllm-ascend推理性能数据,通过MindStudio Insight工具分析模型推理的性能瓶颈

本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境,并采集vllm服务的性能数据,通过MindStudio Insight工具分析性能数据,包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。

文章图片
#人工智能#性能优化#昇腾
昇腾系列--音频压测:基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B,并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能

本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上,完成vllm-ascend框架的环境安装,并成功加载Qwen2.5-Omni-7B模型服务,使用aisbench工具对模型的音频转文字性能进行压测。

文章图片
#python#语音识别#人工智能 +1
昇腾系列--Qwen2.5-Omni推理调优:vllm-ascend开启全图模式+异步,推理性能提升1.2X倍

本文介绍了Qwen2.5-Omni-7B模型在Atlas800TA2硬件上的环境部署和性能优化过程,推理性能提升为原来的1.2X倍

文章图片
#人工智能
昇腾系列--Qwen2.5-Omni推理调优:vllm-ascend开启全图模式+异步,推理性能提升1.2X倍

本文介绍了Qwen2.5-Omni-7B模型在Atlas800TA2硬件上的环境部署和性能优化过程,推理性能提升为原来的1.2X倍

文章图片
#人工智能
昇腾系列--vllm框架性能分析:获取vllm-ascend推理性能数据,通过MindStudio Insight工具分析模型推理的性能瓶颈

本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境,并采集vllm服务的性能数据,通过MindStudio Insight工具分析性能数据,包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。

文章图片
#人工智能#性能优化#昇腾
昇腾系列--vllm框架性能分析:获取vllm-ascend推理性能数据,通过MindStudio Insight工具分析模型推理的性能瓶颈

本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境,并采集vllm服务的性能数据,通过MindStudio Insight工具分析性能数据,包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。

文章图片
#人工智能#性能优化#昇腾
    共 11 条
  • 1
  • 2
  • 请选择