但如果我能戴上眼镜，或者只需要用手机对着爆胎的车，与潜在的应用程序协作，通过视觉引导或对话或两者的结合来指导我更换轮胎，这就是一个非常平凡的日常生活例子，真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据，上下文窗口的信息对于模型来说非常清晰，因此，上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说，就像你让把一张普通轿车的图片改成敞篷

但如果我能戴上眼镜，或者只需要用手机对着爆胎的车，与潜在的应用程序协作，通过视觉引导或对话或两者的结合来指导我更换轮胎，这就是一个非常平凡的日常生活例子，真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据，上下文窗口的信息对于模型来说非常清晰，因此，上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说，就像你让把一张普通轿车的图片改成敞篷

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下，大模型除了要突破算力瓶颈，亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能，正日益成为业内共识。1月15日，上海人工智能实验室对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅

方法的完整数学描述略显复杂，如果只是想了解主要思想，可以只看上面 PatchMix的流程图即可（其实只是公式多，每个公式也不复杂，后续有机会做个演示动画，帮助大家理解。这个方法也可以用简单的 Mask 方法实现，但是本方法在大规模图像处理上效率是最高的），对该工作感兴趣的同行可以看一下，我尽量写得清楚一些。结合 PatMix 的流程图，主要过程如下：由于混合图像和混合图像之间，重叠比例的不同，mi

作者认为，通过合成数据，计算模型在训练过程中获得的知识总量的方法，可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同，并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

作者认为，通过合成数据，计算模型在训练过程中获得的知识总量的方法，可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同，并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

研究者总结了对 AMBER 和 CRYSTALCODER 的观察结果和一些启示。他们表示，预训练是一项计算量巨大的任务，许多学术实验室或小型机构都无力承担。他们希望 LLM360 能够提供全面的知识，让用户了解 LLM 预训练过程中发生的情况，而无需亲自动手。

研究者总结了对 AMBER 和 CRYSTALCODER 的观察结果和一些启示。他们表示，预训练是一项计算量巨大的任务，许多学术实验室或小型机构都无力承担。他们希望 LLM360 能够提供全面的知识，让用户了解 LLM 预训练过程中发生的情况，而无需亲自动手。

此外，该模块引入了轻量化的算子，避免了冗余计算，在大规模数据集上也能保持较高的计算效率。然而，这些都是折中的办法。然而，与静态图相比，动态图因节点和边的动态演变特性，给数据分析带来了更大的挑战，尤其是在异常检测方面。该项目做了一个框架，利用这个框架，可以方便地用不同的底座模型+不同的指令数据集进行大模型的微调，不足的地方是，只提供了使用Lora的训练方式。除此之外，该项目主打一个思维链 (CoT)