本文详细介绍了NLP中分词（Tokenization）的核心步骤和BPE（Byte Pair Encoding）算法原理。主要内容包括： 分词必要性：通过子词分解可大幅压缩词汇量（英语从60万缩减至17-22万），并解决未登录词问题。 BPE算法：通过迭代合并高频相邻字符对构建词汇表。详细演示了3次迭代过程： 初始12个单字符词典 依次合并最高频对（un→go→fi） 最终生成15个元素的词典 关

本文介绍了机器学习中类别特征的数据处理方法，重点讲解了one-hot编码的原理和应用。首先，文章通过年龄、性别、国籍的例子说明类别特征（如国籍）不能直接用数字表示，因为数字之间的大小比较无意义。正确的做法是使用one-hot编码，将每个类别转换为一个全零向量，并在对应位置设为1。接着，文章以自然语言处理中的文本数据为例，展示了如何通过分词、统计词频和建立字典将单词转换为数值特征，并最终使用one-

大模型算法方向选择指南：2026年热门赛道解析 当前大模型算法领域呈现多元化发展趋势，11个主要方向可分为两个梯队： 第一梯队（高需求高增长）： 推理能力训练：聚焦开放域奖励设计、长链路稳定性等核心问题，重点关注推理预算分配和对抗奖励破解 Agentic Search：搜索能力内化为模型推理部分，强调检索质量奖励和事实核查 Agent/Tool Use：从单工具调用发展到工具链编排，注重真实环境任

摘要： GEPA提出了一种高效优化复合智能体系统的方法，通过LLM反思完整轨迹而非压缩为标量奖励，显著减少计算量。相比GRPO需数万次rollout，GEPA让反思模型分析失败模式并生成改进提示词，在10-50倍更低计算成本下达到相当或更优效果。其核心是将结构化轨迹反馈转化为自然语言修正，结合帕累托选择保持策略多样性。实验显示，在多跳问答等任务中，GEPA通过优化模块提示词（如第二跳查询策略）使性

摘要： GEPA提出了一种高效优化复合智能体系统的方法，通过LLM反思完整轨迹而非压缩为标量奖励，显著减少计算量。相比GRPO需数万次rollout，GEPA让反思模型分析失败模式并生成改进提示词，在10-50倍更低计算成本下达到相当或更优效果。其核心是将结构化轨迹反馈转化为自然语言修正，结合帕累托选择保持策略多样性。实验显示，在多跳问答等任务中，GEPA通过优化模块提示词（如第二跳查询策略）使性

摘要： 本文探讨了SFT（监督微调）与RL（强化学习）在模型训练中的遗忘差异。核心发现是KL散度的方向决定了遗忘现象：SFT使用前向KL（D_KL(p‖q)），强制模型拟合新数据分布，导致旧知识被覆盖；而RL采用反向KL（D_KL(q‖p)），通过模型自身采样调整分布，保留未被强化的原有能力。通过编码本类比（高频词短编码、低频词长编码），文章揭示了交叉熵与KL散度的数学本质——前向KL因"用错编码

摘要： 文章探讨了大模型在长对话场景中指令失效的问题及解决方案。常规Prompt写法在短对话中有效，但随着轮数增加，模型倾向于延续对话风格而非执行指令。作者提出两种改进方法：1）将指令与历史消息合并放入System Prompt，用户输入改为任务指令；2）在用户输入后追加指令要求。这两种方法通过重构上下文，打破对话惯性，引导模型聚焦任务而非闲聊。从技术层面分析，这利用了Attention机制的近因

本文介绍了使用MinHash和局部敏感哈希(LSH)进行文本去重的方法。首先将文档切分为n-gram单元，然后为每个n-gram生成多个哈希值以提高相似性估计的准确性。接着通过取最小值得到文档的MinHash签名，再使用LSH将签名分条带处理，将相同条带值的文档聚到同一桶中备选。这种方法能有效识别相似文档，在大批量文本处理中显著减少计算量，平衡了计算效率和相似性检测的需求。MinHash通过多哈希

a: intb: int# 支持字段校验 或 复杂嵌套"""加法定制"""方面自定义 ToolExecutor.register_tool装饰对象Python函数工具类（通常继承BaseModel）内部逻辑封装：函数、元信息、参数schema → Tool对象需显式传给Agent注册：类进全局map，参数结构自动提取调用入口由Agent调度由ToolExecutor.execute_tool统一入

虚拟机是由各种虚拟文件所构成的虚拟计算机，而这些虚拟文件都可以由文件系统进行管理。快照本身就是帮助用户记录当前虚拟机状态的方式，这个状态包含虚拟磁盘状态（相当于真实机中的硬盘）、机器内存状态、虚拟机配置信息。1、虚拟磁盘状态：数据、分区格式、文件内容等；