logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【DGX Spark 实战】面向 128GB 统一内存的DeepSeek-V4 流式推理引擎设计及实现

本文详细介绍了如何在 128GB 统一内存的 DGX Spark(GB10) 单卡上运行 284B 参数、158GB 权重的 DeepSeek-V4-Flash模型,核心思路是利用 MoE 架构稀疏激活特性,仅按需加载激活的专家权重。

文章图片
#人工智能#自然语言处理
【DGX Spark 实战】面向 128GB 统一内存的DeepSeek-V4 流式推理引擎设计及实现

本文详细介绍了如何在 128GB 统一内存的 DGX Spark(GB10) 单卡上运行 284B 参数、158GB 权重的 DeepSeek-V4-Flash模型,核心思路是利用 MoE 架构稀疏激活特性,仅按需加载激活的专家权重。

文章图片
#人工智能#自然语言处理
【DGX Spark 实战】部署SGLang,千问3.5-27B模型初探

部署SGLang推理引擎,加载千问3.5-57B模型

文章图片
#spark#sglang
到底了