论文网址：https://arxiv.org/pdf/1810.04805BERT（Bidirectional Encoder Representations from Transformers）是一种新的语言表示模型，旨在通过无监督的预训练方法学习深度双向语言表示，与以往的语言模型（如ELMo和OpenAI GPT）不同，BERT能够同时利用上下文的左右信息进行预训练预训练完成后，BERT可以通

在原始论文《Attention Is All You Need》中，Transformer的架构如下图所示。经过个人整理，对架构图的解读如下图所示（提示：下图为高清图，可放大查看细节内容）

KNN（K-NearestNeighbor，即：K最邻近算法）是一种基于实例的学习方法，用于分类和回归任务，它通过查找一个数据点的最近邻居来预测该数据点的标签或数值。所谓K最近邻，就是K个最近的邻居，即：每个样本都可以用它最接近的K个邻近值来代表在本文第四章节的KNN算法实践中，用的都是sklearn库中的标准模块和函数，为了理解其中的实现原理，以及学习如何自定义一个机器学习算法，本章节将以分类和

目前，市面上的很多大模型（如阿里的通义千问、百度的文心一言、月之暗面的kimi、深度求索的deepseek等），它们除了能让我们自己直接进行使用之外，通常还支持通过开放API接口的形式，让我们进行接入，从而使得我们自己的IT系统具备大模型相关能力本文将以阿里云百炼平台（https://bailian.console.aliyun.com/#/home）为例，介绍如何调用第三方大模型云服务。

向量数据库是一种新型的数据库，专门用于存储和检索高维向量数据，它结合了传统数据库（如关系型、文档型）的特点，并针对向量数据的特性进行了优化，主要用于支持语义检索、推荐系统、机器学习等场景关系型数据库（如 MySQL）数据结构：以表格形式存储数据，每行是一个记录，每列是一个字段查询方式：基于字符串匹配或数值比较，如适用场景：适合结构化数据的存储和复杂查询文档型数据库（如 MongoDB）数据结构：以

向量数据库是一种新型的数据库，专门用于存储和检索高维向量数据，它结合了传统数据库（如关系型、文档型）的特点，并针对向量数据的特性进行了优化，主要用于支持语义检索、推荐系统、机器学习等场景关系型数据库（如 MySQL）数据结构：以表格形式存储数据，每行是一个记录，每列是一个字段查询方式：基于字符串匹配或数值比较，如适用场景：适合结构化数据的存储和复杂查询文档型数据库（如 MongoDB）数据结构：以

LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化SFT（Supervised Fine-Tuning，即：指令微调）属于大模型三大训练阶段（预训练-->监督指令微调-->偏好优化）中的第二阶段，是指在预训练模型基础上，通过标注好的特定任务数据进行进一步训练的方法，其目的是让模型更好地适应特定任务或领域多机多卡

是 LangGraph 提供的一个预构建方法（from langgraph.prebuilt import create_react_agent），它可以将语言模型（LLM）和一组工具（Tools）结合起来，创建一个能够根据用户输入自动调用工具的智能代理，这个代理可以根据用户的请求，决定是否需要调用某个工具，并将工具的输出反馈给用户这个函数如此好用，那么，其实现原理是什么，我们能否自定义方法实现R

根据知识的生命周期分类，我们通常会采取不同的方法（微调、RAG、Agent）来将知识融入到AI中大语言模型本身无法直接调用外部工具或函数，但可以通过代理模式（Agent）来实现工具调用，代理模式的核心在于将语言模型的推理能力和外部工具的执行能力结合起来，通过中间的代理（Agent）来管理工具调用的流程，通过代理模式，语言模型可以间接调用外部工具，从而扩展其功能，更好地完成复杂任务。

向量数据库是一种新型的数据库，专门用于存储和检索高维向量数据，它结合了传统数据库（如关系型、文档型）的特点，并针对向量数据的特性进行了优化，主要用于支持语义检索、推荐系统、机器学习等场景关系型数据库（如 MySQL）数据结构：以表格形式存储数据，每行是一个记录，每列是一个字段查询方式：基于字符串匹配或数值比较，如适用场景：适合结构化数据的存储和复杂查询文档型数据库（如 MongoDB）数据结构：以