与Pascal相比，用于训练的峰值teraFLOPS（TFLOPS）性能提升了高达12倍，用于推理的峰值TFLOPS性能提升了高达6倍，训练和推理性能提升了3倍。Tesla显卡采用GPU加速计算，具备强大的并行计算能力和高性能计算效率，我们常说的A100、A800、V100、T4、P40等都属于Tesla系列的显卡。1. GeForce类型: GeForce系列是NVIDIA面向个人计算和游戏市场

BERT的本质是一种文本表征（context representation），做的是一个文本->矩阵（max length× \times×hidden size）或者文本->向量(1× \times×hidden size)，word2vec也可以做到同样的事，但是word2vec是静态的，而BERT是动态的，因为BERT是将输入考虑语序后经过transformer输出的。架构：由bert 衍生

a.循环引用：当两个或多个对象相互引用时，如果没有妥善地处理，可能会导致内存泄漏。如果在程序中使用了大量的全局变量，或者没有及时释放不再使用的全局变量，可能会导致内存泄漏。c.长期运行的进程：长期运行的进程可能会因为长时间的运行而导致内存泄漏。例如，在一个循环中创建大量的对象，但没有及时释放，就会导致内存泄漏。如果在C代码中使用了动态分配的内存，但没有及时释放，就会导致内存泄漏。d.第三方库：使用

一、定义。

安装： conda install cudatoolkit。

解决：先说解决办法:将1.16.2版本的onnx降级为1.16.1。

当模型的计算强度 I 大于计算平台的计算强度上限 Imax 时，模型在当前计算平台处于 Compute-Bound状态，即模型的理论性能 P 受到计算平台算力 π 的限制，无法与计算强度 I 成正比。当模型的计算强度 I 小于计算平台的计算强度上限 Imax 时，由于此时模型位于“房檐”区间，因此模型理论性能 P 的大小完全由计算平台的带宽上限 β （房檐的斜率）以及模型自身的计算强度 I 所决定

flashAtention其加速的原理是非常简单的，也是最基础和常见的系统性能优化的手段，即通过利用更高速的上层存储计算单元，减少对低速更下层存储器的访问次数，来提升模型的训练性能。首先，从HBM中读取完整的Q和K矩阵（每个大小为N x d），计算点积得到相似度得分S（大小为N x N），需要进行O(Nd + N^2)次HBM访问。将原始的注意力矩阵分解成更小的子矩阵，然后分别对这些子矩阵进行计算

4.如果其他配置相同，ZeRO-3 可能会比 ZeRO-2 慢，因为除了 ZeRO-2 之外，前者还必须收集模型权重。4.1deepspeed 配置主要包括：精度配置模块，优化器模块、零冗余优化器模块、预热调度器模块、batch_size/梯度等模块。2. ZeRO-1主要优化优化器的存储，ZeRO-2进一步优化模型参数和优化器状态的存储，而ZeRO-3还包括对激活的优化。1. ZeRO-1、Ze

3.int8-kv-cache量化:KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。最先进的量化方法，如SmoothQuant和AWQ，在量化造成的性能损失适中时，可以有效提升性能。1. 模型量化参考：https://github.com/NVIDIA/TensorRT-LLM