logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【清华代码熊】DeepSeek-V4.1-Flash 技术报告/架构解析

📌 本期解析 DeepSeek 发布的多模态大模型 DeepSeek-V4.1-Flash,相比 DeepSeek V4 结构大改,已经集成先前 DeepSeek 几项实验性技术:mHC/Engram/DSpark,以及 CED/CSA2 的架构创新,本期详细解析🔥

文章图片
#深度学习#自然语言处理#人工智能 +2
【清华代码熊】Qwen3.8-Flash-Next 模型架构 & 代码解析

📌 本期解析Qwen3.8-Flash-Next 模型架构(Qwen-4 架构前瞻版本),可以对照 GLM-5.3-Flash 架构理解。📌 包含知识点:🌟 GDN 混合注意力架构🌟 QSA(Qwen Sparse Attention)/ 蒸馏训练 CPT🌟 GR(Gated Residual)🌟 N-gram 嵌入层

文章图片
#人工智能#机器学习#深度学习 +2
【清华代码熊】解析|DeepSeek大模型原生Memory论文Engram

📌 今天来解析 DeepSeek 的新论文 Engram,最近 DeepSeek 频发论文,是不是要为发布模型预热📌 论文背景:当前MoE模型通过条件计算实现了模型容量的扩展,但 Transformer 本身缺乏原生的知识检索机制,造成语言任务的动态推理与静态知识检索需求未被有效解耦。🔥Engram 的解决方案:在大模型主干上的一部分Transformer Block中增加一个N-gram单

文章图片
#人工智能
【清华代码熊】解析|百度多模态大模型Paddle-OCR-VL-1.5

📌 百度本次开源的模型是在PaddleOCR-VL基础上的升级版 PaddleOCR-VL-1.5,仍然保持 0.9B 的轻量级两阶段任务建模,核心改进点:🌟 布局检测模型架构升级:采用 PP-DocLayoutV3 布局检测模型实现像素级文档元素定位。🌟 训练策略与数据增强:引入强化学习后训练(GRPO),解决标注风格不一致问题。🌟 推理效率优化:采用异步多线程流水线架构。📌 实验效果

文章图片
#paddle#人工智能#自然语言处理 +1
【清华代码熊】大模型强化学习总结|2026年3月版|大模型RL

📌 本期 Update 一下大模型强化学习总结篇章,Scope从早期RL算法到最新已经集成到verl/trl框架中的SAPO/GDPO等。📌 围绕大模型RL算法回顾 PPO、DPO、GRPO、DAPO、Dr.GRPO、GPG、GMPO、CISPO、GFPO、GSPO、SAPO、GDPO 的发展历程。

文章图片
#自然语言处理#深度学习#人工智能
【清华代码熊】大模型实践16: 训练多模态 RL Agent全流程

📌本期代码实践一个多模态RL Agent项目,使用DAPO强化学习让模型先工具调用(Tool Use)编辑图像,再通过工具观察结果(Observation)促使模型在增强视觉上更准确回答✅。📌 可以学习的相关知识点及技术栈:🌟 VeRL框架DAPO实现。🌟 多卡分布式RL训练实践。🌟规则/模型奖励设计。🌟 Agent RL训练范式(拓展DeepReseach、Think with Im

文章图片
#人工智能#深度学习#自然语言处理
【清华代码熊】字节面试官:多模态大模型动态分辨率原理?

📌 本期解析字节大模型面试题:“多模态大模型的动态分辨率是怎么做的?”📌 目前主流的两种动态分辨率方案:🌟 原生动态分辨率(Native Dynamic Resolution)🌟 基于切片的动态分辨率(Dynamic Tiling)

文章图片
#人工智能#自然语言处理#深度学习
【清华代码熊】面试官:多模态大模型视觉Token压缩方法?

📌 本期解析面壁智能多模态大模型面试题:“多模态大模型缓解长序列计算瓶颈的方法?多模态大模型视觉Token压缩方法?”

文章图片
#人工智能#自然语言处理#深度学习
【清华代码熊】多模态OCR大模型架构对比|2026年3月版

📌 今天来总结一下之前解析的多模态大模型(OCR)的架构区别,包括:🌟 百度:PaddleOCR-VL、PaddleOCR-VL-1.5🌟 小红书:dots.ocr🌟 DeepSeek:DeepSeek OCR、OCR 2🌟腾讯:HunyuanOCR🌟 Shanghai AI Lab:MinerU2.5

文章图片
#深度学习#自然语言处理#人工智能
    共 48 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择