方法作用返回值类型search搜索第一个匹配Match或Nonematch从开头匹配Match或Nonefindall查找所有匹配列表finditer查找所有匹配（迭代器）迭代器sub替换匹配内容新字符串subn替换匹配内容并返回次数(新字符串, 次数)split根据模式分割字符串列表compile编译正则表达式为模式对象模式对象这些方法覆盖了正则表达式的核心应用场景，包括查找、替换、分割和复杂匹

函数都可以用于输出信息，但它们的设计目的、功能和适用场景有本质区别。：仅输出原始字符串，格式完全依赖手动拼接，缺乏元信息。，可包含时间、模块名、级别等元信息，便于定位问题。（控制台、文件、网络等），且可分别配置格式和级别。，会导致输出混乱（如调试信息淹没关键错误信息）。无法区分信息的重要性，若代码中充斥大量。：功能极简，仅能输出字符串，无扩展能力。，可根据需求灵活控制输出内容。），且无法同时输出到

字典（dict）的核心就是结构，而值（value）可以是任何 Python 数据类型，包括，甚至可以嵌套多层字典，形成 “无限套娃” 的结构（理论上只要内存允许）。这种嵌套特性让字典非常适合表示复杂的层级数据（比如 JSON 数据、配置文件、嵌套的模型输出等）。

该代码实现了一个支持 MoE 机制的 GPT 类语言模型，结合了高效的路由策略、旋转位置编码和灵活的注意力机制，适用于大语言模型的训练和推理。

缩放点积注意力是多头注意力机制的核心部分，它计算 query、key 和 value 之间的注意力权重，并返回加权后的 value。python运行代码解释d_k表示 query 和 key 的维度。scores通过矩阵乘法计算 query 和 key 的转置的乘积，然后除以 \(\sqrt{d_k}\) 进行缩放。如果提供了掩码（mask），将掩码中值为 0 的位置对应的分数设为负无穷，这样在

框架将核心功能拆分为多个模块（如提示模板、记忆系统、工具调用、链（Chains）、代理（Agents）等），开发者可以像搭积木一样组合这些模块，灵活扩展功能。LangChain 封装了大量与语言模型交互的细节（如提示工程、API 调用、上下文管理等），提供了统一的接口，让开发者无需重复编写基础代码，快速构建复杂的 LLM 应用（如聊天机器人、问答系统、智能代理等）。当应用出现问题（如输出不符合预期

事实性问题有明确、客观的答案（像历史事件发生时间、科学定理内容等 ），但 GPT - 4 本身基于训练数据生成输出，其训练数据可能存在过时、错误，或在处理事实性内容时，受模型推理逻辑等影响，难以精准判别答案是否完全符合客观事实，会导致对涉及事实类问题的 LLM 答案排序出现偏差，无法可靠区分事实性内容的对错优劣。这种评价方式有一定应用价值，但因事实性判断短板，使用时要结合场景，对于非事实性、侧重语

NLU（Natural Language Understanding，自然语言理解）：它是自然语言处理的一个子领域，主要作用是对用户输入的句子或者语音识别结果进行处理，旨在让计算机理解人类语言的含义，从中提取用户对话意图以及所传递的相关信息，像意图识别、实体抽取、领域识别和语义消歧等都属于其范畴 。DST（Dialogue State Tracking，对话状态跟踪） ：是对话管理的重要

很多大语言模型数不对 “strawberry” 中 “r” 的数量，主要是由模型的技术原理和特性导致的，具体原因如下：

CUDA 是 NVIDIA 推出的一种并行计算平台和编程模型，它允许开发者利用 NVIDIA GPU 的强大计算能力来加速计算密集型任务。在深度学习领域，大多数计算任务（如矩阵乘法、卷积等）都可以通过 GPU 来大幅加速。的作用是指定计算设备为第一块 NVIDIA GPU。在深度学习中，合理使用 GPU 可以显著提高训练和推理速度，特别是对于大规模模型和数据集。