logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

51c大模型~合集109

我自己的原文哦~https://blog.51cto.com/whaosoft/13242010用极简线性注意力助力扩散模型AIPC时代端侧部署王家豪,香港大学计算机系二年级博士,导师为罗平教授,研究方向为神经网络轻量化。硕士毕业于清华大学自动化系,已在 NeurIPS、CVPR 等顶级会议上发表了数篇论文。 太长不看版:香港大学联合上海人工智能实验室,华为诺亚方舟实验室提出高效扩散模型 LiT:

#人工智能
51c大模型~合集109

我自己的原文哦~https://blog.51cto.com/whaosoft/13242010用极简线性注意力助力扩散模型AIPC时代端侧部署王家豪,香港大学计算机系二年级博士,导师为罗平教授,研究方向为神经网络轻量化。硕士毕业于清华大学自动化系,已在 NeurIPS、CVPR 等顶级会议上发表了数篇论文。 太长不看版:香港大学联合上海人工智能实验室,华为诺亚方舟实验室提出高效扩散模型 LiT:

#人工智能
51c大模型~合集108

但如果我能戴上眼镜,或者只需要用手机对着爆胎的车,与潜在的应用程序协作,通过视觉引导或对话或两者的结合来指导我更换轮胎,这就是一个非常平凡的日常生活例子,真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据,上下文窗口的信息对于模型来说非常清晰,因此,上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说,就像你让把一张普通轿车的图片改成敞篷

#人工智能
51c大模型~合集108

但如果我能戴上眼镜,或者只需要用手机对着爆胎的车,与潜在的应用程序协作,通过视觉引导或对话或两者的结合来指导我更换轮胎,这就是一个非常平凡的日常生活例子,真正打破了物理 3D 世界和数字 3D 世界的界限。因相比混合在一起的数千亿训练数据,上下文窗口的信息对于模型来说非常清晰,因此,上下文窗口的信息对于 Gemini 2.0 Flash Thinking 来说,就像你让把一张普通轿车的图片改成敞篷

#人工智能
51c大模型~合集107

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下,大模型除了要突破算力瓶颈,亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能,正日益成为业内共识。1月15日,上海人工智能实验室对书生大模型进行重要版本升级,书生·浦语3.0(InternLM3)通过精炼数据框架,大幅提升了数据效率,并实现思维密度的跃升。仅

#人工智能
51c大模型~合集107

我自己的原文哦~https://blog.51cto.com/whaosoft/13140661“尺度定律”之下,大模型除了要突破算力瓶颈,亦面临高质量数据即将“见底”难题。如何通过“通专融合”技术路径实现通用人工智能,正日益成为业内共识。1月15日,上海人工智能实验室对书生大模型进行重要版本升级,书生·浦语3.0(InternLM3)通过精炼数据框架,大幅提升了数据效率,并实现思维密度的跃升。仅

#人工智能
51c深度学习~合集8

方法的完整数学描述略显复杂,如果只是想了解主要思想,可以只看上面 PatchMix的流程图即可(其实只是公式多,每个公式也不复杂,后续有机会做个演示动画,帮助大家理解。这个方法也可以用简单的 Mask 方法实现,但是本方法在大规模图像处理上效率是最高的),对该工作感兴趣的同行可以看一下,我尽量写得清楚一些。结合 PatMix 的流程图,主要过程如下:由于混合图像和混合图像之间,重叠比例的不同,mi

#人工智能
w~大模型~合集4

作者认为,通过合成数据,计算模型在训练过程中获得的知识总量的方法,可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同,并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

#人工智能
w~大模型~合集4

作者认为,通过合成数据,计算模型在训练过程中获得的知识总量的方法,可以为「评估模型架构、训练方法和数据制备」提供了一套系统且精确的打分体系。这和传统的 benchmark 比较完全不同,并且更可靠。他们希望这能帮助未来 LLM 的设计者做出更明智的决策。

#人工智能
w~大模型~合集3

研究者总结了对 AMBER 和 CRYSTALCODER 的观察结果和一些启示。他们表示,预训练是一项计算量巨大的任务,许多学术实验室或小型机构都无力承担。他们希望 LLM360 能够提供全面的知识,让用户了解 LLM 预训练过程中发生的情况,而无需亲自动手。

#人工智能
    共 398 条
  • 1
  • 2
  • 3
  • 40
  • 请选择