本文复盘MoE稀疏化两条路径：结构蒸馏（λ_s）因稠密旁路兜底导致梯度稀释，router熵始终卡在1.95~1.97，分化失败；而全量训练MoE通过移除稠密旁路、纯交叉熵训练与λ退火，成功实现router熵从1.968降至1.80，达成有效分化。ffn_e扫描发现，128为甜点——兼具最高带宽收益（4.27x）与最优质量（argmax match 0.641），契合MCU内存带宽约束。最终3 ep

本文汇总了在ESP32-P4上部署轻量级大模型（Kestrel-MCU）的20+关键坑点，涵盖环境配置、TF卡驱动、推理逻辑、性能优化与数值精度等环节。核心教训包括：禁用 -Og 以释放性能、警惕“随机对拍通过”下的实现错误、实测验证向量化收益、以及手写fp16转fp32必须单独验证subnormal分支。所有问题均配源码定位与解决方案，助力开发者高效复现项目。

ESP32-P4 的 PIE（xespv）是乐鑫私有的128位定点SIMD扩展，仅支持整数运算，无浮点向量指令。编译器不自动生成PIE指令，需手写汇编。项目通过移植ESP-DL代码实现分块GEMV内核pie_gemv_row，利用vldext.s8.ip、vmulas.s16.xacc等指令加速int8×int16点积，结合shift量化与fp32累加。关键陷阱：因寄存器未清零或加载偏移错误，导致

本文提出：鸿蒙端侧AI的瓶颈非算力，而是“分层驻留+页级回收”内存纪律缺失——尤其在神经网络模型加载路径上。基于RK3588实测，通过逐层驻留与MADV_DONTNEED实现30B MoE模型常驻内存从16.45GiB压至0.483GiB（23.2×），且逐位正确。该纪律可对照鸿蒙7，建议四步验证路径：NAPI封装、模拟器位级一致、真机语义等价、视觉塔缓存对比。3DGS侧已有基础，缺策略层；而模型

本文提出：鸿蒙端侧AI的瓶颈非算力，而是“分层驻留+页级回收”内存纪律缺失——尤其在神经网络模型加载路径上。基于RK3588实测，通过逐层驻留与MADV_DONTNEED实现30B MoE模型常驻内存从16.45GiB压至0.483GiB（23.2×），且逐位正确。该纪律可对照鸿蒙7，建议四步验证路径：NAPI封装、模拟器位级一致、真机语义等价、视觉塔缓存对比。3DGS侧已有基础，缺策略层；而模型

2026年8月17日至9月12日，作者使用Trae（Agent模式+DeepSeek）在27天内从零开发出纯C11、零第三方依赖的ARM边缘LLM推理引擎，成功在15.6GiB内存的RK3588板上运行17.66GB的Qwen3-30B-A3B模型，服务峰值内存从14.23GB降至1.11GB（降幅12.8倍）。通过逐层推理、VQF格式、mmap映射与惰性分配等技术突破，实现输出一致、低延迟。过程

原创声明：本文首发于 CSDN，作者保留版权；转载需注明出处。

原创声明：本文首发于 CSDN，作者保留版权；转载需注明出处。