Token是大模型处理文本的最基本单位。用户输入的文字不会直接交给模型，而是需要经过Tokenizer（分词器）进行编码。从 Transformer 到 Agent，大语言模型的技术栈正在快速演进。理解这些核心概念，不仅能帮助你更好地使用 AI 工具，也能为深入学习 AI 技术打下坚实基础。记住这个核心逻辑LLM 是"大脑"，Token 是"语言"，Context 是"记忆"，RAG 是"知识库"

Token是大模型处理文本的最基本单位。用户输入的文字不会直接交给模型，而是需要经过Tokenizer（分词器）进行编码。从 Transformer 到 Agent，大语言模型的技术栈正在快速演进。理解这些核心概念，不仅能帮助你更好地使用 AI 工具，也能为深入学习 AI 技术打下坚实基础。记住这个核心逻辑LLM 是"大脑"，Token 是"语言"，Context 是"记忆"，RAG 是"知识库"