在 BERT 上做自回归语言模型必须添加下三角 mask，否则模型会因 “偷看未来信息” 而失去真正的预测能力，最终生成任务完全失效。这也是为什么你的代码中特别强调 “训练时构建下三角 mask 矩阵，让上下文之间没有交互”—— 这是用 BERT 做生成任务的核心改造点，不可或缺。

通过 GLM得key 做一个 翻页版多轮对话会话。

做什么：明确助手要解决哪些问题，边界在哪。输出：场景清单场景示例数据来源处理方式商品咨询"支持快充吗"商品详情RAG库存查询"有货吗"库存系统API订单查询"到哪了"订单系统API售后政策"怎么退货"政策文档RAG优惠咨询"有什么券"营销系统API闲聊"你好"LLM 直接答投诉"我要投诉"转人工关键决策✅ 哪些必须查实时数据（不能靠模型编）✅ 哪些可以模型直接答✅ 哪些必须转人工（投诉、复杂售后）

对比传统 NLP大模型定位专才（一个任务一个模型）通才（一个模型所有任务）核心特征工程 + 任务建模Scaling Law + Prompt + 对齐交互输入 token ids输入自然语言 Prompt演进规则 → 统计 → 神经预训练 → 指令微调 → RLHF → Agent关系大模型继承了传统 NLP 的表示、结构、评估思想，但在规模、范式、通用性上发生了质变。

角色定位：XX 银行智能语音客服，不是通用聊天机器人电话语音渠道（重点！和网页文字客服差异极大）语气人设：稳重、简洁、语速适配电话用户；不俏皮、不网络用语，礼貌克制边界：明确区分【智能语音助手可办理】和【必须转人工】事项身份告知规则：首次交互需要自报身份；用户询问 “你是谁” 要清晰说明是银行语音助手。

客户问"你是不是机器人"时，如实告知："我是银行智能语音助手，可以帮您办理常见业务。- 禁止"根据知识库""根据系统返回""根据模型"等暴露内部机制的表述。助手：不好意思，我没太理解，您是想查询账户、办理转账，还是咨询信用卡？- 客户用"它""这个""刚才那个""那张卡"指代时，结合上文理解。助手：好的，为了您的账户安全，我先跟您核实一下身份，请问您的姓名是？- 客户："我那张信用卡还欠多少？助手

KV = 2 × layers × heads × head_dim × seq_len × batch × 精度。KV ≈ 2 × layers × hidden × seq_len × batch × 2 字节。vLLM 把 KV Cache 分成固定大小的 block，像操作系统分页一样管理，显存降 4 倍（Adam 有 2 个动量 + 1 个方差 + fp32 主权重）。传统 KV Cac

KV = 2 × layers × heads × head_dim × seq_len × batch × 精度。KV ≈ 2 × layers × hidden × seq_len × batch × 2 字节。vLLM 把 KV Cache 分成固定大小的 block，像操作系统分页一样管理，显存降 4 倍（Adam 有 2 个动量 + 1 个方差 + fp32 主权重）。传统 KV Cac

PPO：传统 RLHF 第三阶段算法（ChatGPT/GPT‑4 早期）；DPO：Direct Preference Optimization，把强化学习目标转化成类似监督学习损失，阿里云开发...。

通过数据治理、模型微调、RAG检索增强、Agent对话管理、工程化部署迭代的全链路落地，解决了传统客服准确率低、无上下文、场景覆盖弱、成本高昂的核心痛点，构建起一套高精准、高稳定、可迭代的电商智能客服体系，为平台用户提供更高效、更专业、更人性化的智能咨询服务。用户发起提问后，系统会将用户问题向量化，在向量库中进行相似度检索，召回高匹配度的真实业务知识片段，将检索内容、用户问题、对话上下文共同输入大