低成本指令数据集构建：《Self-Instruct: Aligning Language Model with Self Generated Instructions》阅读笔记

说明：此文档是在CNdeepdive的教程：“Tutorial: 抽取公司实体间的股权交易关系” ，根据实际使用情况做了一些修改和说明（主要在教程前半部分有一些修改，后面内容是一致的）系统：Ubuntu 18.04.5， 是安装在k8s上的一个容器。0. 环境准备0.1. deepdive安装下载CNdeepdive后解压，进入目录运行install.sh，选择1安装deepdive。说明1： 如

大模型对齐方法DPO及其变种IPO、KTO、CPO原理

Evol-Instruct方法出自论文 WizardLM: Empowering Large Language Models to Follow Complex Instructions，也是利用大模型生成指令的方法，它可以生成相对复杂和多样的指令数据集。

激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结

meta的LLaMA模型对应的论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记