接上回的算子层面优化内容，本节从系统层面介绍**模型层面**的优化内容。

项目开始于2024年3月初，当时朋友搞到了一台不知道能用多久的A100。这么棒的机器放着也是浪费，就琢磨着尝试从零训练一个小型号的LLM。其实在当时就有不少些这种“从零预训练LLM”的开源项目了，但是大多训练的数据量或者是模型都很小（几块4090+几十G数据就能跑起来），并没有暴露出一些工程上的问题，训练细节也没有分享的特别清晰。因此，我在制定训练LLM计划的时候有两个目标：模型参数量和数据量不能

在。

微调就像给一个**“学霸”补课，让它从“通才”变成某个领域的“专家”**。此处以本文进行微调的医学数据进行举例： 假设你有一个很聪明的朋友，他读过全世界的书（相当于大模型的预训练阶段），能和你聊历史、科学、文学等各种话题。但如果你需要他帮你看医学报告****段），能和你聊历史、科学、文学等各种话题。但如果你需要他帮你看医学报告，虽然他懂一些基础知识，但可能不够专业。这时候，你给他一堆医学书籍和病例

本文主要探讨提示工程（Prompt Engineering） 、微调（Fine-tuning）和检索增强生成（RAG）分别是什么？都有什么优缺点？希望帮助你理解何时以及如何有效地运用这些技术。

- 关键信息提取（KIE）：从非结构化文档文本中提取结构化字段。- 视觉问答（VQA）：通过问答评估对文档内容的理解。- 光学字符识别（OCR）：衡量识别印刷文本和手写文本的准确性。- 文档分类：评估模型对各种文档类型的分类准确性。- 长文档处理：测试模型在长篇、有丰富上下文的文档上的推理能力。- 表格提取：基准测试从复杂表格格式中提取结构化数据。- 置信度评分校准：评估模型预测的可靠性和置信度。

智能体开发过程中存在很多问题，但由于其执行过程是个黑盒，因此其调试存在更多的困难。最近一段时间一直在搞智能体方面的开发，主要方向是数据分析智能体；采用的框架是langchain家族的Langgraph框架；原因就在于Langgraph有很强的定制功能。但是，在实际开发的过程中却一步一步坎，面临着各种各样的问题；比如说数据分析结果不准确，找不到数据或文件，在多链路的过程中，智能体只能处理一般的需求，

你有没有想过,当你和朋友同时打开ChatGPT或者豆包提问,几乎在同一秒得到回复,而全球可能有几十万人正在和它对话——这背后到底发生了什么?答案不是"AI很聪明所以算得快"这么简单。这是一场**统计学、硬件工程、分布式系统**共同导演的精密协作。今天我们就把这层"魔法"拆开,看看里面到底是什么。

如果把一个大模型（LLM）从“什么都不会”训练成 ChatGPT、DeepSeek、Qwen 这类可以和人正常交流、完成复杂任务的模型，完整的训练流程可以概括成：

作为一个智能系统，应该要具备自主感知、决策与行动能力，通过观察环境并利用可用工具采取行动，以实现特定目标。一个智能体的核心架构包括三部分：