开源大模型微调面临"灾难性遗忘"问题，李宏毅教授提出三大前沿解决方案：1）模型编辑(Model Editing)，通过精准手术式修改特定参数，实现知识更新和隐私遗忘；2）模型融合(Model Merging)，无需训练直接合并多个模型参数，快速获得多功能模型但存在逻辑冲突风险；3）测试时训练(Test-Time Training)，在推理时动态更新参数，采用快慢更新机制和自动重置保障稳定性。这些方

大模型API协议演进与三大平台比较 当前大模型接口从简单的文本交互发展为支持多模态、工具调用、异步任务等复杂场景，协议可分为四层：模型调用、Agent编排、资源管理和传输协议。OpenAI、Anthropic和Google Gemini的核心设计差异显著： OpenAI 从传统Chat Completions转向类型化输出的Responses API，支持工具调用和状态化编排。 Anthropic

摘要： PEFT（参数高效微调）通过冻结预训练模型大部分参数并仅训练少量额外参数（如LoRA的低秩矩阵）来节省资源。LoRA将权重更新分解为两个低秩矩阵BA，减少参数量。QLoRA结合4位量化和LoRA，进一步降低显存需求。DoRA则改进LoRA的局限性，将权重分解为幅度（m）和方向（V/‖V‖）分别优化：方向用LoRA矩阵更新，幅度单独学习，增强复杂任务的表现。三者均实现高效微调，DoRA尤其适

矩阵是大模型进行特征变换和信息传递的基本工具。Rank 表示矩阵中真正独立的信息方向数量，也可以理解为矩阵变换后保留下来的有效维度。W′WBAW'=W+BAW′WBAΔWW′−WΔWW′−W可以用较低的 Rank 近似表示。权重大小变化权重方向变化从而减少两类变化之间的相互干扰。矩阵负责变换信息，Rank 表示独立信息方向，LoRA 用低秩矩阵高效学习任务变化，DoRA 则把权重大小和方向分开学习

摘要： 马尔可夫决策过程（MDP）是强化学习的核心数学模型，由五元组（状态空间、动作空间、状态转移概率、奖励函数、折扣因子）构成。MDP描述智能体在环境中通过策略π选择动作，产生轨迹并获得奖励的过程，其随机性体现在环境转移、策略选择和奖励噪声上。强化学习的目标是找到最优策略π*，最大化长期折扣回报，通过价值函数（V函数和Q函数）评估状态和动作的优劣。最终，MDP为强化学习提供了形式化框架，帮助智能

本文分析了新一代语音交互系统GPT‑Live的技术突破，指出其核心在于通过全双工架构实现实时连续对话，并拆解了"即时响应"与"深度思考"的双路径设计。文章对比了Moshi、Qwen-Omni等公开模型的技术路线，强调GPT‑Live的创新不仅在于语音质量，更体现在低延迟交互、自然打断机制与后台复杂任务调度的系统级优化。当前语音智能正从单轮请求处理转向持续交互系统，需重点关注对话节奏、上下文保持等非

搜广推过去十年的主线是把模型做大、把特征做细。执行瓶颈：广告投手手动调参、算法工程师手工推进实验——人的吞吐量线性限制了系统迭代速度。一个工程师只能串行推进 1-2 个实验，一个投手能同时管理的广告计划数有硬上限。经验瓶颈：失败实验的价值只停留在文档和个人记忆里，无法转化为系统能力。下一个投手/工程师仍然可能重复踩坑。让 Agent 成为执行主体，人退到监督位。腾讯 AdPilot（KDD 202

本文深入探讨了大语言模型（LLM）发展中的关键技术——上下文工程（Context Engineering）。文章指出，AI Agent作为语言模型与现实世界的桥梁，需要解决两大核心挑战：模型缺乏长期记忆和上下文窗口受限问题。通过四种核心操作（上下文压缩、记忆系统、子代理机制和源头控制），AI Agent能够智能管理输入信息，防止上下文爆炸。文章特别提出"Agentic Context E

大模型API协议演进与三大平台比较 当前大模型接口从简单的文本交互发展为支持多模态、工具调用、异步任务等复杂场景，协议可分为四层：模型调用、Agent编排、资源管理和传输协议。OpenAI、Anthropic和Google Gemini的核心设计差异显著： OpenAI 从传统Chat Completions转向类型化输出的Responses API，支持工具调用和状态化编排。 Anthropic

大模型API协议演进与三大平台比较 当前大模型接口从简单的文本交互发展为支持多模态、工具调用、异步任务等复杂场景，协议可分为四层：模型调用、Agent编排、资源管理和传输协议。OpenAI、Anthropic和Google Gemini的核心设计差异显著： OpenAI 从传统Chat Completions转向类型化输出的Responses API，支持工具调用和状态化编排。 Anthropic