一、前言：云边之争的“临界点”
2024 年之前，想要 7B 级别的流畅对话，必须“联网-上云-等响应”，平均延迟 1.8 s、峰值 1.1 美元/1K token。
2025 年，高通骁龙 8 Gen4 在 Hexagon NPU 上跑通了 3B 参数的“Edge-LLM”，离线首 token 延迟 280 ms，单轮能耗 12 mWh——手机直接变成了“口袋 GPT”。
本文从训练、压缩、部署、应用四条链路，复盘我们如何把 7B 模型压到 2.6B、再量化成 3 bit，最终塞进 Android 的 8 GB RAM。
----
二、整体架构：10 行代码先跑起来

from edge_llm import EdgeLLM          # 自定义封装
model = EdgeLLM("qwen2-2.6b-3bit.gguf")
out = model.chat("把下面 Python 转成 C：for i in range(10):print(i)")
print(out)  # 首 token 260 ms，手机温度 +2 ℃

•  模型：Qwen2-7B → 结构化剪枝 → 2.6B → INT3 量化 → 0.95 GB 权重
•  框架：llama.cpp + Android NNAPI + 自定义 KV-Cache 池
•  硬件：红米 K70，骁龙 8 Gen3，8 GB LPDDR5X
----
三、训练阶段：让模型“自己选”哪些层不重要
1.  重要性估计（Importance Score）
用 Fisher Information 矩阵对角线近似权重显著性，200 step 算完，绘制“层-显著性”热力图。
2.  结构化剪枝（Synergy Pruning）
对 Attention 的 o_proj、FNN 的 down_proj 做 1:2 通道剪枝，保持矩阵乘法维度对齐，无需重排权重。
3.  动态知识蒸馏（Dynamic KD）
原 7B 当老师，2.6B 当学生，但每 100 step 把“学生”回插到 7B 里做 forward，计算 logits 差值，防止容量过低导致崩溃。
最终验证：
指标    原始 7B    剪枝 2.6B    恢复微调后
C-Eval    63.4    48.1    61.9
MMLU    62.1    46.5    60.7
模型大小    13 GB    4.9 GB    4.9 GB
----
四、压缩阶段：3-bit 量化的“花式”技巧
1.  分段区间缩放（Block-wise Scale）
每 128 通道一组 scale/zero，解决 INT3 精度下“大值吃小值”问题。
2.  双码本查找（Dual-Codebook）
对 Attention 权重与 FFN 权重分别训练码本，码本大小 2^8， lookup 只增加 0.7 μs。
3.  离群值隔离（Outlier Pocket）
把 >3σ 的 0.3% 权重单独存 FP16，内存增加 <5%，PPL 下降 11%。
经过三步，2.6B → 0.95 GB，首 token 延迟再降 18%。
----
五、部署阶段：把 llama.cpp 嫁接到 Android
1.  内存布局
mmap 权重到 Ashmem，4 KB 对齐；KV-Cache 预分配 2 MB × 32 层，避免 malloc 抖动。
2.  算子加速
•  Q4_0_4_4 GEMM → NPU Delegation
•  Softmax 用 FP16→INT16 LUT 查表
•  Rotary Pos Embedding 提前合并 cos/sin 表
3.  功耗控制
•  Big-core 只在前 20 token 启用，后续切小核
•  温度 >40 ℃ 时，自动把 batch=1 降为 batch=0（即同步解码）
Benchmark（红米 K70，室温 25 ℃）
指标    数值
首 token 延迟    260 ms
每秒 token 数    18
10 轮对话能耗    128 mWh
最高温度    41 ℃
----
六、应用案例：完全离线的“AI 英语外教”
场景：用户戴耳机，手机麦克风实时拾音 → 流式 ASR（Edge-LLM 驱动）→ 2.6B 模型纠正语法、给出地道表达 → TTS 返回。
•  网络：0 流量
•  延迟：ASR+LLM+TTS 全链路 800 ms
•  成本：0 美元/次，对比云端节省 99.9%
APK 体积仅 112 MB，已上架国内主流应用市场，7 天新增 52 万用户，评分 4.9。
----
七、未来 12 个月路线图
1.  1B 级别“语音-语言”一体模型：把 ASR+LLM 合并，共享 Encoder，再省 30% 内存。
2.  NPU 动态形状：解决可变长输入 padding 浪费，目标 20 ms 级首 token。
3.  端侧强化学习：用用户点击数据做 RLHF，手机每天睡前自己 train 5 min，越用越“懂你”。
----
八、结论
“大”模型不一定“重”。通过结构化剪枝+INT3 量化+系统级优化，3B 参数以内的 Edge-LLM 已经可在手机实现类 GPT-3.5 体验。
云边协同的拐点已到：
•  对开发者——省 90% 推理成本；
•  对用户——永久离线、零延迟、隐私本地；
•  对行业——AI 的“水电煤”将真正随手可得。
----
九、资源清单
1.  训练代码：https://github.com/EdgeLLM/synergy-prune
2.  量化工具：https://github.com/EdgeLLM/int3-llm
3.  Android Demo APK 下载：见公众号【EdgeAI实战】回复“edge”
4.  技术交流群：添加微信 edge_ai_kimi 备注“CSDN”
如果本文帮到你，欢迎点个 Star 再走！