transformer训练、评估与推理

LangChain 是一个开源框架(一套在大模型能力上封装的工具框架)，帮助开发者轻松构建应用程序，这些应用程序能够利用语言模型（特别是大型语言模型）来实现各种功能。LangChain 的核心理念是提供一个结构化的方法来连接不同的组件（如语言模型、数据源等），以便构建复杂的应用程序。langchain帮助我们灵活的调用大语言模型，把和大型语言模型的交互的流程抽象出来，变成一个一个的小模块，方便更好

上溢出:超出了数据类型所能表示的最大范围下溢出:结果小于数据类型所能表示的最小范围，导致精度丢失或结果不准确。量化需要安装bitsandbytes：pip install bitsandbytes==0.37.2 -i其他部分不需要修改，修改创建模型代码即可Step4 创建模型# 多卡情况，可以去掉device_map="auto"，否则会将模型拆开load_in_8bit=True # 以8位精

微调定制化功能和领域知识学习。Hugging Face 的 PEFT（Parameter-Efficient Fine-Tuning）库是一个用于高效微调预训练语言模型的工具包，目前支持Prefix Tuning、Prompt Tuning、PTuningV1、PTuningV2、Adapter、LoRA、AdaLoRA等微调方法。

注意力机制 (Attention Is All You Need) ，基础认知及代码实现

从零开始，手撕transformer

词向量(词嵌入)是一种将词汇表中的词或短语，映射为固定长度向量的技术。将高维且稀疏的单词索引，转为低维且连续的向量。转换后的连续向量，可以表示出单词与单词之间的语义关系。词向量（Embeddings）将非结构化数据（单词、句子、整个文档）转化为实数向量。

注意力机制 (Attention Is All You Need) ，基础认知及代码实现

一个速度极快的 Python 包和项目经理，用 Rust 编写。

从零开始，手撕transformer