logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

《从零构建大模型》第五至七章串讲笔记

第五章让模型"会说话"(预训练接龙)第六章让模型"会判断"(分类打标签)第七章让模型"会对话"(指令生成回复)三章连起来,就是从"文盲"到"专家"再到"助手"的完整成长路径。

#人工智能
LangChain - 模型(Model)

▎ 模型是智能体(代理)的推理引擎。它们驱动智能体的决策过程,决定调用哪些工具、如何解释结果以及何时提供最终答案。接续上一讲"代理"的内容就很好理解了:如果说代理是"一个人",那模型就是这个人的"大脑"。代理之所以能"想了再做、做完再想"地循环,背后真正在"想"的就是模型。你选的模型有多强,代理就有多靠谱。

#大数据
LangChain - 代理(Agents)

▎ 代理将语言模型与工具相结合,创建能够推理任务、决定使用哪些工具并迭代地寻找解决方案的系统。翻译成大白话:普通的 LLM 只能"动嘴"——你问它答,它不能真正去查数据库、查天气、做计算。代理 = 一个会"动手"的 LLM。它接到任务后,会自己想"我该用哪个工具?"→调用工具 → 看结果 → 再想下一步 → ……直到能给你最终答案。▎ LLM 代理在一个循环中运行工具以实现目标。代理持续运行,直到

#人工智能
LangChain - 消息(Messages)

▎ 消息是 LangChain 中模型上下文的基本单元。它们代表模型的输入和输出,携带与 LLM 交互时表示对话状态所需的内容和元数据。翻译成大白话:你和模型聊天时,每一句话、模型每一句回复,在 LangChain 里都是一个"消息对象"。模型自己没有记忆,所谓"多轮对话",本质上就是把一堆消息排成列表喂给它。LangChain 提供了适用于所有厂商的标准消息类型,换模型不用改消息代码。

#microsoft#数据库
LangChain - 工具(Tools)

自定义名称@tool("web_search") # 自定义名称自定义名称 @tool("web_search") # 自定义名称 def search(query : str) - > str : """Search the web for information.""" return f"Results for: {

#python#数据库
LangChain - 短期记忆(Short-term Memory)

默认智能体用 AgentState 管理短期记忆(通过 messages 键存对话历史)。"gpt-5.4",state_schema=CustomAgentState, # 传入自定义状态# 调用时可以传入自定义状态字段},这样除了对话历史,还能在这个线程里记住 user_id、preferences 等额外信息。截断/删除的问题:会丢失信息。更聪明的方法是用模型把早期消息总结成摘要,再用摘要替

LangChain - 流式传输(Streaming)

▎ 流式传输 = 把 invoke 换成 stream,让结果逐段实时送出。stream_mode 决定"看哪种信息":updates 看步骤进度、messages 看逐字吐出、custom 看自己发的消息。▎可多选,事件交织着来,每个块靠 chunk[“type”] 区分。

#java#前端
从零构建大模型(第四章)

 层归一化可以确保每个层的输出具有一致的均值和方差,从而稳定训练过程。 残差连接是通过将一层的输出直接传递到更深层来跳过一个或多个层的连接,它能帮助缓解在训练深度神经网络(如大语言模型)时遇到的梯度消失问题。 作为 GPT 模型的核心模块组件,Transformer 块融合了掩码多头注意力模块和使用 GELU激活函数的全连接前馈神经网络。 GPT 模型是具有许多重复 Transformer

#transformer
SFT、RLHF、DPO、RL 的区别与选择

它不是给模型唯一标准答案,而是通过人类偏好让模型知道多个候选答案里哪个更符合人类或业务偏好。一句话解释:DPO 直接用“好回答 vs 差回答”的偏好对训练模型,让模型更倾向于好回答,不再单独训练 Reward Model,也不走复杂 PPO 流程。一句话解释:RLHF 不是给模型一个标准答案,而是告诉模型:多个候选答案里,人类更喜欢哪一个。基模越来越强后,低质量垂类微调确实容易被抹平,但控行为、控

#人工智能#机器学习
Hermes Agent 源码解析:七大功能模块是怎么工作的

定位通用 AI 助手(个人/生活/开发)开发者 AI 工具(专注编码)核心创新闭环学习(记忆+技能自我改进)深度 IDE 集成 + 模型锁定优化模型策略多模型自由切换仅 Anthropic 模型接入方式15+ 聊天平台 + CLI + DesktopCLI + IDE 扩展 + Web工具广度60+ 工具(编程/浏览/语音/图像/家居…)~10 核心工具 + MCP 扩展记忆系统主动记忆 + 自动

#人工智能
    共 21 条
  • 1
  • 2
  • 3
  • 请选择