logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

RTX 5090D 部署 35B MoE 模型量化策略实测

RTX 5090D部署35B MoE模型量化策略实测摘要 测试基于RTX 5090D(32GB GDDR7)平台,对比了Q5_K_P部分卸载与Q4_K_P全量卸载两种量化策略。结果显示: 性能优势:Q4_K_P全量卸载方案在生成速度(197 tok/s)和GPU利用率(93%)上显著优于Q5_K_P方案(148 tok/s,70%利用率),主要得益于GDDR7带宽优势和对INT4的原生优化。 架构

#开发语言
RTX 5090D 部署 35B MoE 模型量化策略实测

RTX 5090D部署35B MoE模型量化策略实测摘要 测试基于RTX 5090D(32GB GDDR7)平台,对比了Q5_K_P部分卸载与Q4_K_P全量卸载两种量化策略。结果显示: 性能优势:Q4_K_P全量卸载方案在生成速度(197 tok/s)和GPU利用率(93%)上显著优于Q5_K_P方案(148 tok/s,70%利用率),主要得益于GDDR7带宽优势和对INT4的原生优化。 架构

#开发语言
RTX 5090D 部署 35B MoE 模型量化策略实测

RTX 5090D部署35B MoE模型量化策略实测摘要 测试基于RTX 5090D(32GB GDDR7)平台,对比了Q5_K_P部分卸载与Q4_K_P全量卸载两种量化策略。结果显示: 性能优势:Q4_K_P全量卸载方案在生成速度(197 tok/s)和GPU利用率(93%)上显著优于Q5_K_P方案(148 tok/s,70%利用率),主要得益于GDDR7带宽优势和对INT4的原生优化。 架构

#开发语言
KiCad 全局标签批量生成工具

基于 Python 从 Excel 读取标签名称,自动生成多列布局的 KiCad 全局标签,支持自定义坐标与分组规则,适配双侧/单侧两种布局模式。生成文件为.kicad_sch格式。

#嵌入式硬件#python#智能硬件
到底了