✦ 基于混合结构，397B总参/17B激活，能力匹配 >1T 参数的 Qwen3-Max；✦ 原生多模态设计，同量级下多模态任务表现优于 Qwen3-VL；✦ 覆盖 201 种语言；✦ 在代码生成、智能体推理与多模态理解方面表现卓越；文章目录note一、Qwen3.5模型1、效率优化2、泛化能力提升3、多模态能力提升二、LLM infra优化Reference一、Qwen3.5模型1、效率优化在

Qwen3-VL，提供稠密型（2B/4B/8B/32B）和混合专家型（30B-A3B/235B-A22B）两种变体过滤方面，去除噪声、低对齐样本，确保数据质量与多样性。模型架构方面，使用DeepStack 跨层融合，提取视觉编码器多中间层特征，通过轻量残差连接注入 LLM 对应层，强化视觉-语言对齐，保留从低级到高级的丰富视觉信息。通过集成高质量的多元模态数据迭代和架构创新（如增强的交错MRoPE

一、Qwen3-VL微调训练数据数据集汇总样例展示二、相关实验Reference一、Qwen3-VL微调训练数据数据集汇总数据集样本数大小字段alpaca-gpt4-data-zh48,81830.69 MBinstruction, input, outputla_te_x_ocr1,20015.49 MBimage, textvideo_chat_gpt1,9960.71 MBvideo_nam

GLM5：海量通用语料打底 → 长上下文和 Agent 数据强化 → 用监督学习塑形 → 用多阶段 RL 提升推理和执行能力 → 最后用蒸馏把各阶段能力重新“缝合”起来，避免遗忘thinking模式：单轮内部：是不是支持 interleaved thinking。也就是一边想、一边调工具、拿到结果再想。跨轮之间：是不是支持 preserved thinking，也就是上一轮那些 thinking，

推荐的codex工作工作流：读上下文 → 写计划 → 确认范围 → 小步实现 → 跑验证 → 总结结果 → /new真正让 Codex 稳定的，不是某一句神奇 prompt，而是你给它足够清楚的上下文、长期规则和验收标准文章目录note一、codex使用技巧1、别一上来就让它写代码2、AGENTS.md 不要写成项目介绍3、复杂任务一定先 Plan4、研究任务要让它先查证，不要让它凭印象说5、做完

# 横纵分析法 Deep Research Prompt> 使用方法：将下方 Prompt 复制到任何支持 Deep Research 的模型中，只需修改开头的「研究对象」一行即可。---## Prompt 正文```> 横纵分析法 by andy## 变量定义研究对象 = 「此处替换为你的研究对象名」（以下所有提到「研究对象」的地方，都指代上面定义的内容。使用时只需修改等号右边的内容即可。）--

DeepSeek-V4优化点：1、混合注意力架构：我们设计了一种结合压缩稀疏注意力（Compressed Sparse Attention, CSA）与重度压缩注意力（Heavily Compressed Attention, HCA）的混合注意力机制，显著提升长上下文处理效率。在百万 Token 上下文场景下，DeepSeek-V4-Pro 相较于 DeepSeek-V3.2，单 Token 推

感知仍是更高级多模态能力的基石：多模态编程和 grounding 任务被证明是有效的感知“代理任务”，如在预训练中加入学科图像与对应 SVG 代码的配对数据，对下游 STEM 问题求解有正向收益；在 RL 阶段加强 grounding 训练，则能改善 GUI Agent 表现。在 GUI Agent 的指令微调中，我们引入了针对推理过程错误（如误读界面、错认元素、错误决策）的 critic 数据，

Kimi K3 基于 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）构建。这两项架构更新，都是为了让信息在更长序列和更深模型中流动得更顺畅。进一步扩大了 Mixture of Experts（MoE）的稀疏度：结合 Stable LatentMoE 框架后，模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化

三个模型：Qwen3-ASR-1.7B：主打高精度Qwen3-ASR-0.6B：主打轻量、高吞吐Qwen3-ForcedAligner-0.6B：把已有文本和语音精确对齐，输出字词时间戳。适合字幕打轴、语音数据标注、歌词对齐。比如得到What's [time] your [time] name [time]的结果支持 30 种语言、22 种中文方言，同时具备语言识别、流式/离线识别、长语音、噪声语