为便捷构建 LLM 应用，需要基于本地部署的LLM模型，自定义一个 LLM 类，将LLM接入到 LangChain 框架中。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。

工作时需要将模型转成onnx使用triton加载，记录将pytorch模型转成onnx的过程。

AdaBoost（adapt boost），自适应推进算法，属于Boosting方法的学习机制。是一种通过改变训练样本权重来学习多个弱分类器并进行线性结合的过程。它的自适应在于：被前一个基本分类器误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或预先指定的最大迭代次数再确定最后的强分

命名实体识别(NER)是自然语言处理的基础任务，处于工程性任务的上游，很多的下游任务依赖于命名实体识别的效果，所以命名实体识别也是自然语言处理中非常重要的一环。命名实体识别的任务非常简单，给出一段文本，识别出文本中的人名、机构名称、歌曲名称、专辑名称、地点名称等名词（或者称之为实体）

向量化于人工智能时代而言，有着里程碑式的意义。人工智能与向量化，就如同西方与耶路撒冷。

GPT-2继续沿用了原来在GPT中使用的单向 Transformer 模型，尽可能利用单向Transformer的优势，做一些BERT使用的双向Transformer所做不到的事。那就是通过上文生成下文文本。​GPT-2的目标是为了训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络机构进行过多的结构创新和设计，只是使用了更大的数据集和更大的网络参数。

在自然语言处理中，面临的首要问题是如何让模型认识我们的文本信息，比如向模型中输入‘我爱北京天安门’，那模型是如何认识文本的？如何表示一个词？词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。具体来讲就是将词映

优化器是在深度学习的反向传播过程中，指引损失函数（目标函数）的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让目标函数不断逼近全局最小点。

EDA是一种简单但是非常有效的文本数据增强方法，是由美国Protago实验室发表于 EMNLP-IJCNLP 2019 会议。EDA来自论文《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》对于提高文本分类任务性能的简单数据增强技术，文中提出了四种数据增强技术方

使用ChatGlm3-6B base模型调用Tools