
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
📌 本期解析 DeepSeek 发布的多模态大模型 DeepSeek-V4.1-Flash,相比 DeepSeek V4 结构大改,已经集成先前 DeepSeek 几项实验性技术:mHC/Engram/DSpark,以及 CED/CSA2 的架构创新,本期详细解析🔥

📌 今天解析面试题:SFT训练到什么程度,才值得做RL?

📌 本期解析Qwen3.8-Flash-Next 模型架构(Qwen-4 架构前瞻版本),可以对照 GLM-5.3-Flash 架构理解。📌 包含知识点:🌟 GDN 混合注意力架构🌟 QSA(Qwen Sparse Attention)/ 蒸馏训练 CPT🌟 GR(Gated Residual)🌟 N-gram 嵌入层

📌 今天来解析 DeepSeek 的新论文 Engram,最近 DeepSeek 频发论文,是不是要为发布模型预热📌 论文背景:当前MoE模型通过条件计算实现了模型容量的扩展,但 Transformer 本身缺乏原生的知识检索机制,造成语言任务的动态推理与静态知识检索需求未被有效解耦。🔥Engram 的解决方案:在大模型主干上的一部分Transformer Block中增加一个N-gram单

📌 百度本次开源的模型是在PaddleOCR-VL基础上的升级版 PaddleOCR-VL-1.5,仍然保持 0.9B 的轻量级两阶段任务建模,核心改进点:🌟 布局检测模型架构升级:采用 PP-DocLayoutV3 布局检测模型实现像素级文档元素定位。🌟 训练策略与数据增强:引入强化学习后训练(GRPO),解决标注风格不一致问题。🌟 推理效率优化:采用异步多线程流水线架构。📌 实验效果

📌 本期 Update 一下大模型强化学习总结篇章,Scope从早期RL算法到最新已经集成到verl/trl框架中的SAPO/GDPO等。📌 围绕大模型RL算法回顾 PPO、DPO、GRPO、DAPO、Dr.GRPO、GPG、GMPO、CISPO、GFPO、GSPO、SAPO、GDPO 的发展历程。

📌本期代码实践一个多模态RL Agent项目,使用DAPO强化学习让模型先工具调用(Tool Use)编辑图像,再通过工具观察结果(Observation)促使模型在增强视觉上更准确回答✅。📌 可以学习的相关知识点及技术栈:🌟 VeRL框架DAPO实现。🌟 多卡分布式RL训练实践。🌟规则/模型奖励设计。🌟 Agent RL训练范式(拓展DeepReseach、Think with Im

📌 本期解析字节大模型面试题:“多模态大模型的动态分辨率是怎么做的?”📌 目前主流的两种动态分辨率方案:🌟 原生动态分辨率(Native Dynamic Resolution)🌟 基于切片的动态分辨率(Dynamic Tiling)

📌 本期解析面壁智能多模态大模型面试题:“多模态大模型缓解长序列计算瓶颈的方法?多模态大模型视觉Token压缩方法?”

📌 今天来总结一下之前解析的多模态大模型(OCR)的架构区别,包括:🌟 百度:PaddleOCR-VL、PaddleOCR-VL-1.5🌟 小红书:dots.ocr🌟 DeepSeek:DeepSeek OCR、OCR 2🌟腾讯:HunyuanOCR🌟 Shanghai AI Lab:MinerU2.5








