logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

昇腾RecSDK加速DeepSeek Engram推理

2026年1月12日,DeepSeek发布论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》,提出Engram条件记忆模块,其作为MoE之外一种高效的稀疏扩展方式,可以复用于其他模型,提升推理效率。

#推荐算法
昇腾RecSDK加速DeepSeek Engram推理

2026年1月12日,DeepSeek发布论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》,提出Engram条件记忆模块,其作为MoE之外一种高效的稀疏扩展方式,可以复用于其他模型,提升推理效率。

#推荐算法
昇腾RecSDK加速DeepSeek Engram推理

2026年1月12日,DeepSeek发布论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》,提出Engram条件记忆模块,其作为MoE之外一种高效的稀疏扩展方式,可以复用于其他模型,提升推理效率。

#推荐算法
MindCluster基于AIBrix的推理服务部署与故障自愈的昇腾设备实践

在构建大规模AI推理平台的过程中,我们面临两大核心挑战:一是多模型、多实例的部署流程繁琐,手动编写和维护大量Kubernetes YAML文件效率低下且易出错;二是推理服务在运行中可能因资源争用、节点异常等原因发生故障,缺乏自动恢复机制,影响服务连续性。为解决上述问题,我们引入AIBrix作为推理服务编排框架,结合自动化部署脚本与实例级故障重调度能力,实现从“手动部署”到“智能运维”的跃迁。本文将

#推荐算法
MindCluster基于AIBrix的推理服务部署与故障自愈的昇腾设备实践

在构建大规模AI推理平台的过程中,我们面临两大核心挑战:一是多模型、多实例的部署流程繁琐,手动编写和维护大量Kubernetes YAML文件效率低下且易出错;二是推理服务在运行中可能因资源争用、节点异常等原因发生故障,缺乏自动恢复机制,影响服务连续性。为解决上述问题,我们引入AIBrix作为推理服务编排框架,结合自动化部署脚本与实例级故障重调度能力,实现从“手动部署”到“智能运维”的跃迁。本文将

#推荐算法
MindCluster基于AIBrix的推理服务部署与故障自愈的昇腾设备实践

在构建大规模AI推理平台的过程中,我们面临两大核心挑战:一是多模型、多实例的部署流程繁琐,手动编写和维护大量Kubernetes YAML文件效率低下且易出错;二是推理服务在运行中可能因资源争用、节点异常等原因发生故障,缺乏自动恢复机制,影响服务连续性。为解决上述问题,我们引入AIBrix作为推理服务编排框架,结合自动化部署脚本与实例级故障重调度能力,实现从“手动部署”到“智能运维”的跃迁。本文将

#推荐算法
MEF软件安装与边云协同配置实战

MEF作为边缘计算平台的核心组件,提供云边协同的容器化应用部署与管理能力。在实际开发中,我们常需完成MEF软件的云侧与边侧部署,并实现安全可靠的边云连接,以支撑边缘智能应用的快速落地。本文将基于标准流程,以Atlas 500 A2 智能小站为例,详细阐述MEF软件的安装配置及边云协同验证步骤,帮助开发者高效完成系统搭建。

MEF软件安装与边云协同配置实战

MEF作为边缘计算平台的核心组件,提供云边协同的容器化应用部署与管理能力。在实际开发中,我们常需完成MEF软件的云侧与边侧部署,并实现安全可靠的边云连接,以支撑边缘智能应用的快速落地。本文将基于标准流程,以Atlas 500 A2 智能小站为例,详细阐述MEF软件的安装配置及边云协同验证步骤,帮助开发者高效完成系统搭建。

MEF软件安装与边云协同配置实战

MEF作为边缘计算平台的核心组件,提供云边协同的容器化应用部署与管理能力。在实际开发中,我们常需完成MEF软件的云侧与边侧部署,并实现安全可靠的边云连接,以支撑边缘智能应用的快速落地。本文将基于标准流程,以Atlas 500 A2 智能小站为例,详细阐述MEF软件的安装配置及边云协同验证步骤,帮助开发者高效完成系统搭建。

昇腾NPU部署vLLM常见问题与调试指南

本文档总结了在昇腾NPU平台部署vLLM-Ascend的调试经验,旨在为开发者提供高效的问题排查与性能优化指导。随着大模型推理需求的快速增长,昇腾NPU凭借其高能效比成为推理部署的重要选择,但不同版本间的兼容性差异可能导致部署过程中的各类问题。本文基于实际调试经验,梳理了常见问题的快速解决方案与优化策略,帮助开发者高效完成vLLM-Ascend的部署与调优。

    共 13 条
  • 1
  • 2
  • 请选择