就是找主要特征接近不同类别边界的样本更具代表性对于模棱两可，接近边界的样本要是能准确分类，挑战性和泛化能力都会有很大的提高。

过拟合即训练后的权重为高方差，正则化的目的就是减小权重的方差

BN,LN,IN,GN

python记录可视化的数据--存储到硬盘--在web端进行可视化

损失函数：衡量模型输出和标签之间的差异。

模型初始化、tokenizer、位置编码、mask、模型前向传播，生成下一分词的循环过程

https://github.com/Lightning-AI/lit-llama/blob/main/README.md

pycharm设置代理，连接hugging face等网站

断点、finetune、GPU

合成数据-->后训练