我自己的原文哦~https://blog.51cto.com/whaosoft/13242010用极简线性注意力助力扩散模型AIPC时代端侧部署王家豪，香港大学计算机系二年级博士，导师为罗平教授，研究方向为神经网络轻量化。硕士毕业于清华大学自动化系，已在 NeurIPS、CVPR 等顶级会议上发表了数篇论文。 太长不看版：香港大学联合上海人工智能实验室，华为诺亚方舟实验室提出高效扩散模型 LiT：

我自己的原文哦~https://blog.51cto.com/whaosoft/13242010用极简线性注意力助力扩散模型AIPC时代端侧部署王家豪，香港大学计算机系二年级博士，导师为罗平教授，研究方向为神经网络轻量化。硕士毕业于清华大学自动化系，已在 NeurIPS、CVPR 等顶级会议上发表了数篇论文。 太长不看版：香港大学联合上海人工智能实验室，华为诺亚方舟实验室提出高效扩散模型 LiT：

但如果我能戴上眼镜，或者只需要用手机对着爆胎的车，与潜在的应用程序协作，通过视觉引导或对话或两者的结合来指导我更换轮胎，这就是一个非常平凡的日常生活例子，真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据，上下文窗口的信息对于模型来说非常清晰，因此，上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说，就像你让把一张普通轿车的图片改成敞篷

但如果我能戴上眼镜，或者只需要用手机对着爆胎的车，与潜在的应用程序协作，通过视觉引导或对话或两者的结合来指导我更换轮胎，这就是一个非常平凡的日常生活例子，真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据，上下文窗口的信息对于模型来说非常清晰，因此，上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说，就像你让把一张普通轿车的图片改成敞篷

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅

方法的完整数学描述略显复杂，如果只是想了解主要思想，可以只看上面 PatchMix的流程图即可（其实只是公式多，每个公式也不复杂，后续有机会做个演示动画，帮助大家理解。这个方法也可以用简单的 Mask 方法实现，但是本方法在大规模图像处理上效率是最高的），对该工作感兴趣的同行可以看一下，我尽量写得清楚一些。结合 PatMix 的流程图，主要过程如下：由于混合图像和混合图像之间，重叠比例的不同，mi

作者认为，通过合成数据，计算模型在训练过程中获得的知识总量的方法，可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同，并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

作者认为，通过合成数据，计算模型在训练过程中获得的知识总量的方法，可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同，并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

研究者总结了对 AMBER 和 CRYSTALCODER 的观察结果和一些启示。他们表示，预训练是一项计算量巨大的任务，许多学术实验室或小型机构都无力承担。他们希望 LLM360 能够提供全面的知识，让用户了解 LLM 预训练过程中发生的情况，而无需亲自动手。