所以，特别要注意的是，如果是标准库头文件，那么既可以采用的方式，又可以采用" "的方式，而用户自定义的头文件只能采用" "的方式。命令，它的作用包含对应的文件，#include 的两种不同的写法，#include和#include"***.h".表示让编译器在编译器的预设标准路径下去搜索相应的头文件，如果找不到就报错。采用“”表示先在工程所在路径下搜索，如果失败，再到系统标准路径下搜索。#incl

其次，从2003年NPLM开始，几乎每个论文都会讲到如何进行大规模的模型训练，尽量在成本可控制的情况下，即要有成功的设计且还要在可控成本下成功的执行，在当前的NLP-LLM上本身也是很难的工作（参考albert和Roberta，二者都是通过了合理的设计从而使模型可以变得更大）这样就将所有的NLP任务统一起来了。chatgpt的做法是，让模型的知识应用到某个领域，并不计划让模型因为任务的改变而改变，

搜集了大量微博研究的相关文献之后，目前使用最多的研究方法是情感词典的方法：通过构建相应的微博情感词典，分析微博评论的极性；另一种是机器学习的方法，通过构建的模型判断文字正负。建立了专属于微博的情感词典，选择相关的微博评论，提高情感分类的准确率。过程概述：获取相关评论文本，进行预处理，然后，使用专属于微博的情感词典，对其进行特征提取等操作，和相应的处理消极词汇、程度副词、微博表情符号、情感词和评价对

1.2 叠加音频：把音频a和音频b叠加成音频c，单声道音频a和单声道音频b叠加成单声道音频c,双声道音频a和单声道音频b叠加成双声道音频c，双声道音频a和双声道音频b叠加成双声道音频c。（如果把音频b叠加在音频a上，那么音频c的时长和音频a的时长相同，反之如果把音频a叠加在音频b上，那么音频c的时长和音频b的时长相同）1.3 拼接音频：把音频a和音频b拼接起来成一个长音频c（即音频c的时长=音频a

本次大规模训练技术系列分享之 ZeRO，主要对微软 ZeRO Optimizer 的思路和实现进行介绍，全文包含以下四个部分：大规模训练的技术挑战 & 现有的并行训练方式ZeRO Optimizer 的三个不同级别ZeRO-3 具体实现思路和方式ZeRO 的局限与大模型训练的未来。

目前发布的是早期版本，包括 8B 和 70B 大小两个不同版本。目前发布的LLaMA 3仅支持文本输入和输出，今年晚些会发布405B（也称400B）和多模态版本。Llama 3 8B 在 MMLU、ARC、DROP 和 HumanEval 等 9 个基准测试中，优于具有相似参数数量的其他开源模型，例如 Mistral 的 Mistral 7B 和 Google 的 Gemma 7B。

总的来说，大模型微调技术LoRA和QLoRA都是为了解决大规模模型微调成本高昂的问题而提出的。而QLoRA技术则通过使用高精度权重和可学习低秩适配器，既降低了微调成本，又提高了模型的准确性。它可以将650亿参数的LLaMA模型的微调成本从超过780GB的GPU内存降低到小于48GB，同时保持了很高的准确性。这使得QLoRA微调技术成为了一种非常有前途的方法，可以广泛应用于各种大规模模型微调的场景。

通过打印的结果，我们可以看到我们只训练了模型参数的 0.19%，相对于原始的大模型，这个训练的参数量已经非常小了。接下来，我们就可以使用，Transformers Trainer，Accelerate 或者是 PyTorch training loop，来训练自己的模型，模型训练完成后，使用 save_pretrained 函数将模型保存到目录中。最近开源的大模型越来越多，但是针对我们个人来说，从

随着python语言和pytorch框架的更新，torch\torchvision\torchaudio与python之间的版本对应关系也在不断地更新。torch与torchvision。torch与torchvision。torch与torchaudio。

很多论文中都出现logit一词，直接翻译为中文释义不可取logit在统计学上是一个数学函数，在神经网络中却说白了，logits就是一个向量（张量），下一步将被投给softmax的向量。关于标量、向量和张量：张量的维数等于其阶数0维的张量=标量1维的张量=向量2维的张量=矩阵3维及以上=张量箭头所指位置：参阅：TensorFlow中的logits什么意思 - 知乎...