写文章
- @qq_30230973
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
昇腾系列--vllm框架性能分析：获取vllm-ascend推理性能数据，通过MindStudio Insight工具分析模型推理的性能瓶颈
本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境，并采集vllm服务的性能数据，通过MindStudio Insight工具分析性能数据，包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。
昇腾系列--vllm框架性能分析：获取vllm-ascend推理性能数据，通过MindStudio Insight工具分析模型推理的性能瓶颈
本文介绍了vllm-ascend性能数据采集与分析流程。基于Atlas800T A2搭建环境，并采集vllm服务的性能数据，通过MindStudio Insight工具分析性能数据，包括查看总耗时、函数执行时间、CANN调用关系及算子耗时等。
昇腾系列--音频压测：基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B，并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能
本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上，完成vllm-ascend框架的环境安装，并成功加载Qwen2.5-Omni-7B模型服务，使用aisbench工具对模型的音频转文字性能进行压测。
昇腾系列--音频压测：基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B，并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能
本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上，完成vllm-ascend框架的环境安装，并成功加载Qwen2.5-Omni-7B模型服务，使用aisbench工具对模型的音频转文字性能进行压测。
昇腾系列--音频压测：基于Atlas800T A2环境使用vllm-ascend部署Qwen2.5-Omni-7B，并用aisbench压测Qwen2.5-Omni-7B音频转文字的性能
本文详细介绍了Qwen2.5-Omni-7B大模型的环境部署与性能测试过程。在Atlas800TA2硬件平台上，完成vllm-ascend框架的环境安装，并成功加载Qwen2.5-Omni-7B模型服务，使用aisbench工具对模型的音频转文字性能进行压测。
到底了