Transformer 核心机制详解（QKV 与注意力机制）以下是关于 Transformer 中 QKV、注意力机制、维度变化、不对称注意力以及 KV Cache 的完整笔记，内容通俗易懂，同时保留精确的数学描述和例子。seq_len = 10（序列长度）输入 X 形状：[2, 10, 512]生成 Q、K、V三个独立的线性投影：分成多头。

准备系统环境（NVIDIA 驱动、基本工具）安装 Docker + NVIDIA Container Toolkit（GPU 支持）克隆 Cosmos-Predict2.5 仓库构建 nightly Docker 镜像（针对 Blackwell）解决 docker 权限问题（加入 docker 组）启动容器并运行推理脚本处理模型下载（手动下载 gated 模型、同意 license）解决常见报错（

Shard 不是一种固定文件格式，而是一种存储组织方式。Shard = 一个较大的存储单元，里面顺序存放大量样本，用于高吞吐顺序 IO。sample：一条训练样本batch：一次送进 GPU 的一组 sampleshard：磁盘上的一个“大文件”，包含很多 sample把“大量随机小读” → 变成“少量顺序大读”Shard 训练 = 用大文件顺序读 + 内存中近似随机 + IO 与 GPU 并行流

关键输出：三、问题背景系统最初存在 同一分区被挂载两次 的情况：服务器环境中应统一使用 。2. 创建最终挂载目录3. 设置开机自动挂载编辑 ：添加：

本文总结了如何：先进入你的项目目录：查看当前远程仓库地址：示例输出：二、清除当前的 Git 地址记录方法 1：删除当前远程仓库记录删除后再检查：如果没有任何输出，说明当前远程地址已经清除成功。例如：2. 检查是否设置成功示例输出：四、如果只是想修改 origin 地址，也可以直接改如果不想先删除再添加，可以直接修改：例如：五、推送项目到 GitHub1. 先查看当前分支名如果你想统一使用分支：2.

已经从 GitHub 克隆了代码到本地，现在希望把代码推送到公司的私服仓库。

本文档用于说明：在复杂软件项目中，如何以“人负责目标、约束与反馈；智能体负责执行”的方式，建立一套高效、可扩展、可治理的开发流程。这套方法尤其适合以下场景：复杂项目开发不再只是“人工写代码”，而是围绕以下三个核心展开：换句话说，复杂项目的关键不只是产出代码，而是持续设计一个“能让系统稳定产出正确代码”的工程框架。4. 第一阶段：需求定义与目标约束复杂项目开始之前，首先要明确的不是实现细节，而是以下

本地 Windows 负责发起连接。远程 Linux 服务器负责运行 Codex CLI。API Key 必须配置在远程服务器上。Codex CLI 通过env_key从远程服务器环境变量中读取 Key。因为远程调用不一定加载.bashrc，所以建议把 Key 写入。中[features]只写一次，不要加引号。这样配置完成后，就可以通过本地 Windows Codex 连接远程服务器上的 Code

一开始怀疑是配置问题，后来确认不是核心问题。

本地 Windows 负责发起连接。远程 Linux 服务器负责运行 Codex CLI。API Key 必须配置在远程服务器上。Codex CLI 通过env_key从远程服务器环境变量中读取 Key。因为远程调用不一定加载.bashrc，所以建议把 Key 写入。中[features]只写一次，不要加引号。这样配置完成后，就可以通过本地 Windows Codex 连接远程服务器上的 Code