logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

MemT-1.0 拆解:33 倍状态压缩怎么算的

MemT-1.0 把「记住上一轮说了什么」从提示词文本挪成前向传播里固定大小的记忆状态:选定 Transformer 层加一条与注意力并行的记忆分支,生成时读取、每轮结束写入。Nano 基于 Qwen3.6-35B-A3B(36B 总参/3B 激活),Flash 基于 DeepSeek-V4-Flash(288B/17B)。33 倍不是压缩技术而是除法:Nano 单轨迹状态 10 层×16×256

文章图片
#网络#人工智能#语言模型 +1
到底了