logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

UniAD_v2 模型NPU适配

参考github网址:https://github.com/OpenDriveLab/UniAD/tree/v2.0参考readme:https://gitcode.com/Ascend/DrivingSDK/blob/master/model_examples/UniAD/README.md。

#pytorch#人工智能#python
UniAD_v2 模型NPU适配

参考github网址:https://github.com/OpenDriveLab/UniAD/tree/v2.0参考readme:https://gitcode.com/Ascend/DrivingSDK/blob/master/model_examples/UniAD/README.md。

#pytorch#人工智能#python
RTP-LLM 昇腾适配实践:从 CUDA 到 CANN 的全栈迁移

RTP-LLM 是阿里巴巴大模型预测团队自研并开源的大语言模型推理和加速引擎,广泛应用于阿里巴巴内部多个部门的大模型推理业务。面对昇腾硬件的上市,团队面临从 CUDA 到 CANN 的全栈迁移挑战,包括算子库差异、上下文管理差异、编译与调试工具链切换等。RTP-LLM 作为一个追求极致吞吐和低时延的推理引擎,其自定义多流调度与内存池、算子融合模式等特性在昇腾架构上需要重新设计。此外,大型推理框架代

RTP-LLM 昇腾适配实践:从 CUDA 到 CANN 的全栈迁移

RTP-LLM 是阿里巴巴大模型预测团队自研并开源的大语言模型推理和加速引擎,广泛应用于阿里巴巴内部多个部门的大模型推理业务。面对昇腾硬件的上市,团队面临从 CUDA 到 CANN 的全栈迁移挑战,包括算子库差异、上下文管理差异、编译与调试工具链切换等。RTP-LLM 作为一个追求极致吞吐和低时延的推理引擎,其自定义多流调度与内存池、算子融合模式等特性在昇腾架构上需要重新设计。此外,大型推理框架代

RTP-LLM 昇腾适配实践:从 CUDA 到 CANN 的全栈迁移

RTP-LLM 是阿里巴巴大模型预测团队自研并开源的大语言模型推理和加速引擎,广泛应用于阿里巴巴内部多个部门的大模型推理业务。面对昇腾硬件的上市,团队面临从 CUDA 到 CANN 的全栈迁移挑战,包括算子库差异、上下文管理差异、编译与调试工具链切换等。RTP-LLM 作为一个追求极致吞吐和低时延的推理引擎,其自定义多流调度与内存池、算子融合模式等特性在昇腾架构上需要重新设计。此外,大型推理框架代

到底了