在这里插入图片描述

大模型知识图谱
├── 第零层:算力与基础设施 [NEW]
│   ├── 异构计算与 AI 芯片
│   ├── 分布式计算与并行策略 (DP/TP/PP/SP)
│   ├── 显存优化技术 (ZeRO, Checkpoint)
│   └── 训练/推理框架 (Megatron, DeepSpeed)
├── 第一层:基础原理
│   ├── 表示学习
│   │   ├── 分布式语义(Distributional Semantics)
│   │   └── Embedding
│   ├── Transformer 与序列建模
│   ├── 语言建模目标
│   │   └── BERT & GPT
│   ├── Token 与上下文机制
│   │   ├── Tokenier BPE (Byte-Pair Encoding) 算法
│   │   └── RoPE - 旋转位置编码
│   ├── Scaling Law 与能力涌现
│   ├── 推理与泛化基础
│   └── 多模态基础
├── 第二层:模型形成
│   ├── 数据体系 (含数据清洗、合成数据 [NEW])
│   ├── 预训练
│   ├── 微调 / 指令微调
│   ├── 参数高效微调 (PEFT / LoRA) [NEW]
│   ├── 偏好对齐 (RLHF, DPO)
│   ├── 安全对齐
│   ├── 架构演进 (MoE, 线性 RNN/Mamba [NEW])
│   └── 模型压缩 (蒸馏) [NEW]
├── 第三层:运行时系统
│   ├── 推理引擎与加速 (vLLM, KV Cache, 投机解码) [NEW]
│   ├── 模型部署与量化 (PTQ, AWQ, GGUF) [NEW]
│   ├── Prompting
│   ├── Context Engineering
│   ├── RAG (检索增强生成)
│   ├── Tool Use
│   ├── Memory
│   ├── Inference-time Reasoning (如 CoT, 搜索树)
│   └── Long Context
├── 第四层:任务编排与应用系统
│   ├── Workflow
│   ├── Agent (包含规划、反思组件 [NEW])
│   ├── Multi-Agent
│   ├── 多模态应用系统
│   ├── 垂直领域应用 (代码、医疗、端侧等) [NEW]
│   └── 应用架构
└── 第五层:评测、安全、可信与治理
    ├── 能力评测
    ├── 风险与攻击 (Prompt Injection, 越狱) [NEW]
    ├── 防御与对齐
    ├── 可信输出与溯源 (事实性与幻觉控制) [NEW]
    └── 治理与合规

更多推荐