卷积神经网络，本质上是一种特别适合处理图像数据的神经网络。它的关键思想不是一上来就看整张图，而是先看局部，再把很多局部信息一层层组合起来，最后形成对整张图的理解。你可以把它理解成：第一层先学会看边缘、明暗变化、简单纹理；中间层逐步学到角点、条纹、轮廓、局部部件；更深层再把这些部件拼起来，识别出脸、车轮、猫耳朵、文字结构等更高级特征。所以，CNN 最大的价值不是“神秘”，而是它特别符合图像数据本身的

从“检索质量门控”到“答案逐条溯源”的生产级方案。

从 SFT 到 RLHF：让模型不仅会调工具，还知道什么时候该调。

Token是大模型处理文本的最小单位。简单来说，模型并不直接理解单词或汉字，而是将它们拆分成Token后再计算。英文：约4个字符 = 1 token（例如：Hello 是1个token，Hello world 是2个token）中文：约1.5～2个汉字 = 1 token（例如：“你好” 约2～3个token，“大语言模型” 约3～4个token）随着大模型渗透到业务的方方面面，Token消耗将成

场景A：低并发、长文本离线处理方案：FP16精度 + Flash Attention + Static Batching。硬件按最大序列估算。场景B：高并发在线服务（如智能客服）方案：INT4量化 + vLLM + Continuous Batching + Speculative Decoding。用消费级显卡（如RTX 4090）即可支撑较高并发。场景C：复杂推理任务（如代码生成）

上下文窗口的核心瓶颈是O(n²)计算和位置编码的外推能力。RoPE 和 ALiBi 是两大主流位置编码，各有千秋。通过 NTK-aware Scaling 或 RoPE Scaling，可以在不重新训练的前提下扩展窗口。实际应用中，不一定非要追求最长窗口，结合RAG往往更高效。理解这些底层机制，你就能在设计AI应用时做出更聪明的技术选型——既不被“百万上下文”的宣传迷惑，也能在真正需要时用对技术。

Top-k和Top-p是控制大模型输出质量的关键工具，它们与温度参数共同构成了采样策略的三驾马车。理解它们的工作原理，并掌握组合使用的方法，你就能在不同任务中精确控制模型的“创意”与“严谨”程度。Top-k：固定候选数量，简单但缺乏适应性。Top-p：动态截断，更智能，是当前主流选择。黄金组合：Temperature + Top-p，先保质量再调平滑度。结构化输出：务必低温度，甚至贪婪解码，确保语

温度参数是大模型生成中最直观但也最容易被滥用的旋钮。理解它的数学原理，知道不同温度下的输出风格，掌握与top_p/top_k的配合，并在生产环境中按任务动态调整，你就能让模型的输出在“严谨”与“创意”之间自由切换。没有最佳的温度，只有最适合任务的温度。下次调参时，不妨多问自己一句——这个任务，我需要的是“确定”还是“惊喜”？

幻觉是大模型天生的弱点，但并非不可管理。理解其成因——数据缺口、采样随机性、RLHF副作用——是制定缓解策略的基础。在实际工程中，我们可以通过RAG、低温度、拒答、引用溯源、Self-Consistency和Verifier Agent等层层设防，构建出高可靠性的AI应用。对抗幻觉的终极武器不是让模型更聪明，而是让它学会谦虚。当模型知道什么时候该说“我不知道”，它才能真正成为值得信赖的工具。

思维链技术让大模型从“直觉反应”进化到“深度思考”，而Self-Consistency进一步提升了推理的鲁棒性。但硬币的另一面是成本和延迟的显著增加。：简单有效，适合大多数需要推理的场景。：规范格式，适应特定领域。：终极武器，在关键任务上追求极致准确率。不要对所有请求都开启CoT，只在真正需要“思考”的地方投入资源。这样，你就能用有限的预算，获得最佳的AI表现。