大模型的运行需要极高的硬件资源，通常都是服务器集群并挂载数量众多的 GPU（显卡）。为了满足低性能设备的运行，可以对大模型进行蒸馏。ollama：是一款旨在简化大型语言模型本地部署和运行过程的开源软件。ollama 提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理 LLMs（大型语言模型）。通过 ollama，开发者可以导入和定制自己的模型，无需关注复杂的底层实现细节。安装

本文探讨了大模型非结构化输出的工程化解决方案，重点围绕结构化输出和Function Calling两大主题。针对JSON格式输出的不可靠性，提出应区分JSON语法、JSON Schema和Structured Outputs三个层次，强调服务端校验的必要性。Function Calling被定义为将自然语言转换为结构化工具调用意图的机制，而非直接执行函数。文章还比较了Function Callin

本文系统梳理了LLM应用开发的核心知识体系，主要内容包括： 一、LLM运行机制 自回归生成原理：模型通过迭代预测Token生成完整回答 Token体系：介绍子词切分算法、中英文Token换算规则、特殊Token类型及计费策略 上下文窗口：分析窗口组成、长上下文计算约束和溢出表现 采样参数：详解Temperature、Top-p/Top-k等核心参数的作用机制 二、LLM API工程实践 生产级调用

文章摘要： Harness是构建高效AI Agent的核心框架，介于模型与外部系统之间，负责工具调用、状态管理、验证闭环等关键功能。研究表明，优化Harness（如改进工具调用接口）可使同一模型的性能提升10倍。Harness包含六层架构（信息边界、工具系统、执行编排等），需优先关注L1（信息边界）和L6（恢复机制）。实践中需避免上下文过载（建议利用率≤40%）、分层管理知识（如OpenAI的渐进

文章摘要： Harness是构建高效AI Agent的核心框架，介于模型与外部系统之间，负责工具调用、状态管理、验证闭环等关键功能。研究表明，优化Harness（如改进工具调用接口）可使同一模型的性能提升10倍。Harness包含六层架构（信息边界、工具系统、执行编排等），需优先关注L1（信息边界）和L6（恢复机制）。实践中需避免上下文过载（建议利用率≤40%）、分层管理知识（如OpenAI的渐进

文章摘要： Harness是构建高效AI Agent的核心框架，介于模型与外部系统之间，负责工具调用、状态管理、验证闭环等关键功能。研究表明，优化Harness（如改进工具调用接口）可使同一模型的性能提升10倍。Harness包含六层架构（信息边界、工具系统、执行编排等），需优先关注L1（信息边界）和L6（恢复机制）。实践中需避免上下文过载（建议利用率≤40%）、分层管理知识（如OpenAI的渐进

本文系统性地探讨了智能体记忆系统的设计与实现。文章从记忆的分类、存储形式、功能类型切入，提出"记忆系统=短期记忆+长期记忆"的核心架构。详细阐述了记忆的生命周期六环节（编码、存储、提取、巩固、反思、遗忘），并对比了长期记忆与RAG的差异。在技术实现层面，分析了短期记忆的三种控制策略和长期记忆的双链路机制（写入与检索），介绍了主流记忆技术产品的特点，以及记忆演化中的反思、聚类与遗忘机制。最后提出了M

本文系统性地探讨了智能体记忆系统的设计与实现。文章从记忆的分类、存储形式、功能类型切入，提出"记忆系统=短期记忆+长期记忆"的核心架构。详细阐述了记忆的生命周期六环节（编码、存储、提取、巩固、反思、遗忘），并对比了长期记忆与RAG的差异。在技术实现层面，分析了短期记忆的三种控制策略和长期记忆的双链路机制（写入与检索），介绍了主流记忆技术产品的特点，以及记忆演化中的反思、聚类与遗忘机制。最后提出了M

本文系统性地探讨了智能体记忆系统的设计与实现。文章从记忆的分类、存储形式、功能类型切入，提出"记忆系统=短期记忆+长期记忆"的核心架构。详细阐述了记忆的生命周期六环节（编码、存储、提取、巩固、反思、遗忘），并对比了长期记忆与RAG的差异。在技术实现层面，分析了短期记忆的三种控制策略和长期记忆的双链路机制（写入与检索），介绍了主流记忆技术产品的特点，以及记忆演化中的反思、聚类与遗忘机制。最后提出了M

AI Agent核心思想与发展摘要 AI Agent是一种能感知环境、自主决策并执行动作的智能系统，其核心架构为"LLM+规划+记忆+工具"。相比传统聊天机器人，Agent能动态执行任务直至完成。 发展阶段： 对话时代（2022年）：仅能问答，依赖提示工程 工具时代（2023中）：支持API调用，出现AutoGPT等早期探索 编排时代（2023底）：多Agent协作，采用DAG流程管理 未来趋势：