logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

端侧个性化写作skill:基于 QLoRA 与 OpenVINO 的本地内容生成实践

《local-style-writer:基于QLoRA的本地化个人风格写作助手》开源项目通过QLoRA技术微调Qwen3-8B模型,实现完全本地的个性化内容生成。核心创新包括:1)云端一次性训练后导出4.6GB的INT4量化模型;2)OpenVINO异构调度自动匹配NPU/GPU/CPU;3)分层模块化架构支持按需加载。项目封装为标准AI Skill,通过自然语言指令触发本地推理,保障创作隐私与风

#openvino#人工智能
从不兼容 Schema 到纯 INT8:语音模型 TFLite 边缘部署完全指南

本文记录了将语音模型在 MCU 上部署为纯 INT8 TFLite 的踩坑与优化实践。针对模型不兼容 Schema 和体积膨胀问题,文章详述了如何通过改用 onnx2tf 重新量化、动态适配维度变化,并截断 SV 模型末尾不支持 INT8 的 L2 归一化算子(改用端侧 C 代码实现),最终生成无 Flex 算子、无 dequantize 节点的纯 INT8 模型(KWS 10.9 KB,SV 1

#嵌入式硬件#mcu
到底了