logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

SenseNova-U1:使用NEO-unify架构统一多模态理解与生成

仅供参考,未经实验验证。1. 核心问题当前大型视觉-语言模型(VLM)普遍存在一个根本性的二元割裂:理解与生成被视为两个独立的问题,导致架构碎片化、流水线级联、表示空间不对齐。论文认为这种割裂不仅是工程上的妥协,更是阻碍原生多模态智能涌现的结构性限制。2. 提出的方案:SenseNova-U1论文提出了,一个基于NEO-unify架构的原生统一多模态范式。无需视觉编码器(VE)和变分自编码器(VA

#人工智能
DeepSeek-R1:通过强化学习激发大语言模型的推理能力

仅供参考,未经实验验证。DeepSeek-R1 的故事是一个关于**“自我进化”**的故事:从一个未经任何监督的基座模型出发,通过纯强化学习的激励,模型自发学会了思考、反思、验证;再通过人类的少量引导(冷启动数据)和多阶段打磨,最终成为一个既强大又实用的推理专家;最后,它将这份智慧传递给更小、更快的模型,让整个开源社区受益。有时候,我们不需要手把手教模型如何思考,只需要给它正确的激励,它就能自己找

#语言模型#人工智能#自然语言处理
Vision Banana:图像生成器是通用视觉学习者

仅供参考,未经实验验证。通过对图像生成模型进行轻量级指令微调,Vision Banana 在多个 2D/3D 视觉理解任务上达到或超越 SOTA 专家模型,同时保留生成能力,证明了图像生成预训练本身就是通用视觉学习的基础。问题1:通俗解释这篇论文证明:那些只会画图的 AI,其实早就"看懂"了图像。只要教它们把理解结果按标准颜色画出来,它们就能在分割、测距、3D 理解等任务上打败最专业的分析模型。这

#人工智能
DeepSeekMath的理解4——GRPO算法

仅供参考,未经实验验证。这篇论文2024年发表的,看论文,那个时候DeepSeekMath就已经有过程监督这个概念了?论文标题: DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(DeepSeekMath:推动开放语言模型中数学推理的极限)作者: Zhihong Shao, Peiy

#人工智能
DeepSeekMath:推动开放语言模型中数学推理的极限

仅供参考,未经实验验证。因DeepSeekMath这篇论文提出了重要的GRPO算法,加之后面DeepSeeMathV2思想的重要性,我们有必要读一下这篇论文。数学推理因其复杂性和结构性而对语言模型构成重大挑战。在本文中,我们介绍了DeepSeekMath 7B,它通过Common Crawl中的120B数学相关标记,以及自然语言和代码数据,继续对DeepSeek-Coder-Base-v1.5 7

#人工智能
DeepSeekMath的理解1——数学预训练

仅供参考,未经实验验证。DeepSeekMath是GRPO算法的原文,但是由于这篇文章把算法部分放在了后面,这一篇并不涉及GRPO算法,但是意外收获是,他的数据收集的方法也很有启发,当我们需要收集一个领域内的数据集的时候,一个直接的思路是先收集一些高质量的数据然后训练分类器,但是这导致这个分类器只认识跟你收集的高质量的数据相似的数据,而实际上可能存在很多并不相似但是也是你需要的多样化数据,这时候我

#人工智能
DeepSeekMath的理解3——PPO算法

仅供参考,未经实验验证。论文标题: DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models(DeepSeekMath:推动开放语言模型中数学推理的极限)作者: Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Min

#算法#人工智能
DeepSeekMathV2的理解3——方法之数学证明的生成

仅供参考,未经实验验证。先用裁判训练选手写证明,再发现选手会"护短",于是强制要求选手"写完必须自查",并且裁判同时考核"写得对不对"和"查得诚不诚实"——最终让选手养成"先自己找错、再交卷"的好习惯。问题2:公式解释RRformatYZ⋅α⋅RYβ⋅RZ5RRformat​YZ⋅α⋅RY​β⋅RZ​5RZRscores′s⋅RmetaZ6RZ​Rscore​s′s⋅Rmeta​Z6。

#人工智能
DeepSeekOCR2的理解1——摘要和引言

仅供参考,未经实验验证。:首次在视觉编码器中引入因果推理能力,实现视觉token的动态语义重排,打破固定栅格扫描的归纳偏置。:在保持高压缩比和解码效率的同时,文档理解性能显著提升,是文档OCR领域的新SOTA开源模型。统一多模态编码的初步验证:证明LLM架构可直接作为VLM编码器,天然继承MoE、高效注意力等LLM社区优化,为图像、音频、文本的统一编码提供新路径。DeepSeek-OCR 2 做了

#人工智能
    共 93 条
  • 1
  • 2
  • 3
  • 10
  • 请选择