logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)

本文详细介绍了在GitCode昇腾云服务器上部署vLLM推理服务的完整流程。从环境准备开始,包括NPU可用性验证和基础算子测试;到模型转换阶段,将Qwen-1.8B模型从PyTorch转换为ONNX格式,再通过ATC工具编译为昇腾专用的OM格式;最后展示如何使用ACL接口在NPU上执行推理。 关键步骤包含:1) 昇腾环境配置与验证;2) 模型格式转换中的问题排查与优化;3) 完整的ACL推理流程实

文章图片
#昇腾#nlp#语言模型 +2
基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)

本文详细介绍了在GitCode昇腾云服务器上部署vLLM推理服务的完整流程。从环境准备开始,包括NPU可用性验证和基础算子测试;到模型转换阶段,将Qwen-1.8B模型从PyTorch转换为ONNX格式,再通过ATC工具编译为昇腾专用的OM格式;最后展示如何使用ACL接口在NPU上执行推理。 关键步骤包含:1) 昇腾环境配置与验证;2) 模型格式转换中的问题排查与优化;3) 完整的ACL推理流程实

文章图片
#昇腾#nlp#语言模型 +2
基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)

本文详细介绍了在GitCode昇腾云服务器上部署vLLM推理服务的完整流程。从环境准备开始,包括NPU可用性验证和基础算子测试;到模型转换阶段,将Qwen-1.8B模型从PyTorch转换为ONNX格式,再通过ATC工具编译为昇腾专用的OM格式;最后展示如何使用ACL接口在NPU上执行推理。 关键步骤包含:1) 昇腾环境配置与验证;2) 模型格式转换中的问题排查与优化;3) 完整的ACL推理流程实

文章图片
#昇腾#nlp#语言模型 +2
基于昇腾平台的Qwen大模型推理部署实战:从模型转换到推理(含代码)

本文详细介绍了在GitCode昇腾云服务器上部署vLLM推理服务的完整流程。从环境准备开始,包括NPU可用性验证和基础算子测试;到模型转换阶段,将Qwen-1.8B模型从PyTorch转换为ONNX格式,再通过ATC工具编译为昇腾专用的OM格式;最后展示如何使用ACL接口在NPU上执行推理。 关键步骤包含:1) 昇腾环境配置与验证;2) 模型格式转换中的问题排查与优化;3) 完整的ACL推理流程实

文章图片
#昇腾#nlp#语言模型 +2
仓颉性能探索:与Python的数值计算对比

本文对比了华为仓颉语言与Python在数值计算任务中的性能表现。实验选取循环求和与矩阵运算两个典型场景,结果显示:仓颉在计算密集型任务(1-10亿循环求和)中执行速度比Python快约49倍(1325ms vs 64740ms);在内存密集型矩阵运算中也保持1.1倍优势(9841ms vs 10752ms)。分析表明,仓颉通过编译器优化(CHIR前端优化、SLP向量化等)和运行时优化(轻量锁、并发

文章图片
#python#开发语言#人工智能
机器学习和深度学习的区别

探讨深度学习与机器学习,以及他俩与人工智能的关系

文章图片
#机器学习#深度学习#人工智能
Python爬虫——解析常用三种方式之BeautifulSoup

解析常用三种方式之BeautifulSoup,使用bs4爬取茶百道官网新品图片以及对应名称

文章图片
#爬虫#python#beautifulsoup
蓝桥杯真题——报数游戏(2024省赛真题)

蓝桥杯2024省赛第一题,超详细推断过程,为你的2025蓝桥杯拿下第一分吧!!!

文章图片
#算法#动态规划#数学 +1
微信小程序开发——第二章:微信小程序开发环境搭建

本文介绍了如何使用 Python + OpenCV 实现一个实时人脸识别系统。整个流程简单高效,非常适合初学者入门计算机视觉。如果你已经成功运行,恭喜你迈出了 AI 开发的第一步!🎉。

文章图片
#python#开发语言#微信小程序
    共 40 条
  • 1
  • 2
  • 3
  • 4
  • 请选择