袁境阳北京大学计算机学院研究生，导师为张铭教授。主要研究方向是高效大语言模型和稀疏注意力机制，曾获北京市优秀毕业生、北京大学优秀毕业生等称号。罗钧宇北京大学计算机学院博士生，导师为张铭教授。他的研究方向关注于高效的LLM、LLM后训练、自适应学习等。在ICML，CVPR，ACL，TPAMI等顶级刊物上以第一作者发表多篇文章。赵禹昇北京大学计算机学院研究生，导师为张铭教授。研究方向包括图神经网络、时

他们设计的奖励函数可以使正确的 CoT 比错误的 CoT 获得更高的奖励，短的正确 CoT 比长的正确 CoT 获得更高的奖励，短的错误 CoT 比长的错误 CoT 获得更高的惩罚。如果模型是忠实的，它就应该明确承认提示的影响，并承认其答案的变化是由提示引起的。这种对 CoT 推理的依赖性（以使用 CoT 与不使用 CoT 得到相同答案的百分比来衡量）在多选题中并不总是随着模型大小的增加而增加，但

多个头部高校的本科通识课率先引入智谱API，供学生进行大模型应用搭建，学生团队已孵化出多个具有示范价值的项目案例，助力产教融合。多个头部高校的本科通识课率先引入智谱API，供学生进行大模型应用搭建，学生团队已孵化出多个具有示范价值的项目案例，助力产教融合。利用智谱API批量处理能力，科研学者成功处理日均千万级蛋白质信息，提升科研论文的数据处理效率，颠覆传统科研数据准备时间。利用智谱API批量处理能

注意，这篇博客发表于 2024 年 12 月 8 日，因此其中对前沿指标的描述可能会略有过时，比如 NanoGPT 速通结果就已经被多次刷新了，下面展示了 Keller Jordan 托管的 NanoGPT 速通的最新八条世界记录，其中最新记录是今年 5 月 25 日创造的，已达到惊人的 2.979 分钟！一直以来，研究界的衡量标准过度局限于论文发表，而 Keller Jordan 的案例告诉我们

使用该算法，该团队成功让 Qwen2.5-32B 模型在 AIME 2024 基准上获得了 50 分，优于同等规模的 DeepSeek-R1-Zero-Qwen-32B，同时 DAPO 版 Qwen2.5-32B 使用的训练步数还少 50%。为此，研究者建议进行过度采样，过滤掉等式 11 中所示精度等于 1 和 0 的提示语，保留批次中所有具有有效梯度的提示语，并保持一致的提示语数量。在使用 PP

在 Google Pixel Edge TPU 上，它在量化的情况下实现了 13 倍的加速（不使用量化的情况下为 6.5 倍），所需参数减少了 46%，内存占用减少了 4 倍，同时在视觉语言任务上实现了更高的准确率。在语音方面，Gemma 3n 采用基于通用语音模型（USM）的高级音频编码器。架构突破：Gemma 3n 的核心是全新组件，例如用于计算灵活性的 MatFormer 架构、用于提高内存

刚刚，我们拿到了第一轮比赛的结果：Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 均以 4-0 的战绩分别击败 Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash 和 Kimi k2，晋级半决赛。尽管如此，o4-mini 在这场比赛中成功实现了两次将军 —— 这是一个值得注意的成就，考虑到对 AI 系统来说，准确把握整个棋盘状态本身就具有相当

在编码方面，Anthropic 还改进了 Claude.ai 上的编码体验，其 GitHub 集成现已在所有 Claude 计划中提供，使开发人员能够将他们的代码存储库直接连接到 Claude。在扩展思维模式下，它会在回答之前进行自我反思，从而提高其在数学、物理、指令遵循、编码和许多其他任务上的表现。在接下来的几周内，Anthropic 计划根据自身的使用情况不断改进 Claude Code，包括

此研究汇聚了来自 MetaGPT、Montréal & Mila 人工智能研究所、南洋理工大学、美国阿贡国家实验室、悉尼大学、宾夕法尼亚州立大学、微软亚洲研究院、伊利诺伊大学厄巴纳 - 香槟分校、香港科技大学、南加州大学、耶鲁大学、斯坦福大学、佐治亚大学、俄亥俄州立大学、阿卜杜拉国王科技大学、杜克大学、香港理工大学、谷歌 DeepMind 以及 加拿大高等研究院（CIFAR）等众多研究者的集体智慧

Mike是Anthropic的首席产品官，曾参与创办Instagram，也在红杉资本的创始人之一，长期专注于产品从0到1的打造。例如，以前我们常常关注一个文档的出处，比如有没有引用、是不是原创，这些问题现在依然重要，但在AI帮助下也变得更容易追踪。我们也在观察OpenAI的一些做法，比如他们可能会对ChatGPT做专门的微调版本，虽然大家主要是通过Chat界面来用它，但背后可能跑的是不同模型。举个