2026 年 11 月 6 日，淘宝旗下的 MNN 团队发布了一个叫 MNN-Pocket-0.3B 的模型，参数量 0.3B，面向手机应用的任务需求与资源预算设计。团队给出的指标很具体：在指定设备与上下文配置下，解码吞吐超过 200 token/s；在指定测试条件下，推理峰值内存低于 300MB。IT之家的报道标题里还有一个更显眼的数字：在苹果 iPhone 18 Pro 上离线跑出 350 token/s。

先把口径摆清楚。350 token/s 是特定机型、特定上下文下的实测，200 token/s 是团队给自己定的设计目标，两者不是一回事，也不意味着随便一台中端机都能复现。300MB 的峰值内存同样有前提。手机标称 8～16GB 内存，实际要和系统、后台、当前 App 一起分，MNN 团队自己给的模型模块预算是约 500MB。这条新闻真正的信息量不在“0.3B 有多小”，而在他们愿意为端侧划一条 500MB、200 token/s 的线。

MNN 团队用的词是“手机应用原生大模型”，四个维度的设计目标里，除了速度、内存、能耗，还有一条是持续运行体验。这四个词拼起来其实是一句话：这个模型不是拿来演示的，是要在后台常驻、被反复调用的。演示型模型只在乎第一次回答有多惊艳，原生型模型在乎第一万次调用时手机还剩多少电。

端侧模型的瓶颈从来不是能力，是发热和掉电。把一个 7B 模型塞进手机，前三十秒很漂亮，之后就是降频、烫手、电量掉得肉眼可见。0.3B 是一次工程妥协：放弃通用对话能力，换持续运行的可能。这跟云端 API 的竞争逻辑正好相反。云端比的是参数、榜单、上下文长度；端侧比的是每毫瓦能换回多少有效输出。

淘宝为什么要做这件事。综合型购物 App 的 AI 任务边界其实很清楚：搜索意图理解、导购、比价、订单查询、售后问答。这些活不需要模型会写诗，需要的是快、便宜、别把用户的购物记录传出去。把请求从云端挪回本地，省下的是推理账单和网络延迟，换来的是数据不出设备和弱网可用。MNN 本来就是做移动端推理起家的团队，这次从框架往上游走了一步，把权重也一起开源了。

开源这步棋就有意思了。0.3B 的权重放出去，别的 App 也能拿去用，淘宝并不独占。它图的显然不是这一个模型，而是让 MNN 成为端侧推理的默认选项。框架的位置比单个功能值钱，这条路做推理引擎的几家都走过。不同之处在于，这次连“什么尺寸的模型适合手机”这个答案都一起给了。

还有一层是平台与开发者的老矛盾。苹果、高通、联发科都在往 NPU 上堆算力，想把模型做成系统能力，开发者调用就行。App 厂商不一定愿意把核心场景交给系统模型，接口、成本、数据归属都不由自己定。自己做一个小到能塞进安装包的模型，是另一种选择。iPhone 18 Pro 上那 350 token/s 恰好说明，硬件已经把门打开了，剩下的是软件侧敢不敢进去。

对云端 API 的生意，短期是分流，长期是分层。高频、低难度的请求下沉到端侧，低频、复杂的留在云上。真正难受的是中间那批“什么都能做一点”的中等模型 API：端侧够用，云端太贵，价格带被两头挤。至于 0.3B 会不会在关键任务上出错，那是另一道题。涉及价格、库存、退款，模型说错一句就是钱，淘宝敢不敢把它放进交易链路，外人现在看不到。

普通用户的感知不会来自跑分。更可能是电梯里、地铁里、飞机上，那些以前一直加载的页面突然能用了；也可能是手机不再因为一个 AI 功能而发烫。这两件事听起来不吸引人，却决定了端侧 AI 是演示还是日常。

350 token/s 至少说明，端侧推理的速度已经不是瓶颈。瓶颈在别处：谁愿意为“够用就好”的模型背书，谁能在出问题时兜底。淘宝把模型和框架一起开源，像是在赌一件事：端侧模型的胜负不在参数量，而在谁先把它塞进用户每天打开几十次的那个入口里。

如果觉得这篇文章对你有帮助，欢迎关注、点赞、收藏，你的支持是我持续创作的动力！