大模型知识图谱
·

大模型知识图谱
├── 第零层:算力与基础设施 [NEW]
│ ├── 异构计算与 AI 芯片
│ ├── 分布式计算与并行策略 (DP/TP/PP/SP)
│ ├── 显存优化技术 (ZeRO, Checkpoint)
│ └── 训练/推理框架 (Megatron, DeepSpeed)
├── 第一层:基础原理
│ ├── 表示学习
│ │ ├── 分布式语义(Distributional Semantics)
│ │ └── Embedding
│ ├── Transformer 与序列建模
│ ├── 语言建模目标
│ │ └── BERT & GPT
│ ├── Token 与上下文机制
│ │ ├── Tokenier BPE (Byte-Pair Encoding) 算法
│ │ └── RoPE - 旋转位置编码
│ ├── Scaling Law 与能力涌现
│ ├── 推理与泛化基础
│ └── 多模态基础
├── 第二层:模型形成
│ ├── 数据体系 (含数据清洗、合成数据 [NEW])
│ ├── 预训练
│ ├── 微调 / 指令微调
│ ├── 参数高效微调 (PEFT / LoRA) [NEW]
│ ├── 偏好对齐 (RLHF, DPO)
│ ├── 安全对齐
│ ├── 架构演进 (MoE, 线性 RNN/Mamba [NEW])
│ └── 模型压缩 (蒸馏) [NEW]
├── 第三层:运行时系统
│ ├── 推理引擎与加速 (vLLM, KV Cache, 投机解码) [NEW]
│ ├── 模型部署与量化 (PTQ, AWQ, GGUF) [NEW]
│ ├── Prompting
│ ├── Context Engineering
│ ├── RAG (检索增强生成)
│ ├── Tool Use
│ ├── Memory
│ ├── Inference-time Reasoning (如 CoT, 搜索树)
│ └── Long Context
├── 第四层:任务编排与应用系统
│ ├── Workflow
│ ├── Agent (包含规划、反思组件 [NEW])
│ ├── Multi-Agent
│ ├── 多模态应用系统
│ ├── 垂直领域应用 (代码、医疗、端侧等) [NEW]
│ └── 应用架构
└── 第五层:评测、安全、可信与治理
├── 能力评测
├── 风险与攻击 (Prompt Injection, 越狱) [NEW]
├── 防御与对齐
├── 可信输出与溯源 (事实性与幻觉控制) [NEW]
└── 治理与合规
更多推荐

所有评论(0)