这篇文章介绍了OpenAI创始成员Andrej Karpathy开发的microGPT项目，这是一个仅4192参数、单层Transformer的极简GPT实现，用200行纯Python代码完整展现了GPT的核心算法。文章从六个方面解析了microGPT：1）字符级分词器处理文本数据；2）手写自动求导引擎实现反向传播；3）参数结构包括词嵌入和位置嵌入；4）注意力机制的工作原理；5）训练过程使用交叉熵

本文提出了一种名为Recency的实时流失预测方法，通过带时间偏置的加权汇聚机制改进传统单点分类方法。该方法对历史序列进行前缀归一化加权，每个预测周期学习独立的时间敏感度参数γ_k，实现可控遗忘。数学上结合内容分数和时间偏置，采用前缀softmax确保严格因果性。与标准注意力机制相比，Recency更轻量且适合在线场景，能快速响应近期行为变化而不丢失历史信息。实验表明该方法能平衡预测敏感性和因果性