logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

龙虾系列--openclaw基于昇腾910B单卡完成GLM-4.7-flash模型的加载并推理成功

本文详细介绍了龙虾AI平台的安装配置与模型部署流程。主要内容包括:1)通过nvm安装Node.js环境,配置openclaw网关服务;2)安装昇腾skills技能包;3)下载GLM-4.7-Flash模型权重;4)搭建基础环境并指定软件版本;5)解决模型加载时的显存不足问题,尝试量化、CPU offload等优化方案。最终通过调整生成参数和权重分布,实现模型成功加载与推理。整个流程涉及环境配置、依

文章图片
#linux#运维#服务器 +1
龙虾系列--openclaw基于昇腾910B单卡完成GLM-4.7-flash模型的加载并推理成功

本文详细介绍了龙虾AI平台的安装配置与模型部署流程。主要内容包括:1)通过nvm安装Node.js环境,配置openclaw网关服务;2)安装昇腾skills技能包;3)下载GLM-4.7-Flash模型权重;4)搭建基础环境并指定软件版本;5)解决模型加载时的显存不足问题,尝试量化、CPU offload等优化方案。最终通过调整生成参数和权重分布,实现模型成功加载与推理。整个流程涉及环境配置、依

文章图片
#linux#运维#服务器 +1
龙虾系列--openclaw基于昇腾910B单卡完成GLM-4.7-flash模型的加载并推理成功

本文详细介绍了龙虾AI平台的安装配置与模型部署流程。主要内容包括:1)通过nvm安装Node.js环境,配置openclaw网关服务;2)安装昇腾skills技能包;3)下载GLM-4.7-Flash模型权重;4)搭建基础环境并指定软件版本;5)解决模型加载时的显存不足问题,尝试量化、CPU offload等优化方案。最终通过调整生成参数和权重分布,实现模型成功加载与推理。整个流程涉及环境配置、依

文章图片
#linux#运维#服务器 +1
昇腾系列--yolo26移植:使用atc将模型yolo26转换成om,基于昇腾310推理并计算MAP,误差达到千分之一

本文介绍ATC工具使用,yolo26模型转换,模型移植,以及模型MAP计算方法,最终验证om模型精度与原始模型pt精度误差达到千分之一

文章图片
#人工智能#python#目标检测 +1
昇腾系列--yolo26移植:使用atc将模型yolo26转换成om,基于昇腾310推理并计算MAP,误差达到千分之一

本文介绍ATC工具使用,yolo26模型转换,模型移植,以及模型MAP计算方法,最终验证om模型精度与原始模型pt精度误差达到千分之一

文章图片
#人工智能#python#目标检测 +1
昇腾系列--Qwen2.5-Omni推理调优:vllm-ascend开启全图模式+异步,推理性能提升1.2X倍

本文介绍了Qwen2.5-Omni-7B模型在Atlas800TA2硬件上的环境部署和性能优化过程,推理性能提升为原来的1.2X倍

文章图片
#人工智能
昇腾系列--音频压测:基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B,并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能

本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上,完成vllm-ascend框架的环境安装,并成功加载Qwen2.5-Omni-7B模型服务,使用aisbench工具对模型的音频转文字性能进行压测。

文章图片
#python#语音识别#人工智能 +1
昇腾系列--vllm框架性能分析:获取vllm-ascend推理性能数据,通过MindStudio Insight工具分析模型推理的性能瓶颈

本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境,并采集vllm服务的性能数据,通过MindStudio Insight工具分析性能数据,包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。

文章图片
#人工智能#性能优化#昇腾
昇腾系列--音频压测:基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B,并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能

本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上,完成vllm-ascend框架的环境安装,并成功加载Qwen2.5-Omni-7B模型服务,使用aisbench工具对模型的音频转文字性能进行压测。

文章图片
#python#语音识别#人工智能 +1
昇腾系列--Qwen2.5-Omni推理调优:vllm-ascend开启全图模式+异步,推理性能提升1.2X倍

本文介绍了Qwen2.5-Omni-7B模型在Atlas800TA2硬件上的环境部署和性能优化过程,推理性能提升为原来的1.2X倍

文章图片
#人工智能
    共 14 条
  • 1
  • 2
  • 请选择