模型量化是指将深度学习模型中使用高精度浮点数（例如FP32、FP16）来表示的权重和激活值（模型中持续更新的输入通常被称为激活值）转换为低精度的整数（INT8、INT4）的过程，能够起到压缩模型、加速推理的作用。目前主流的量化技术为训练后量化（Post-Training Quantization，PTQ），PTQ在模型完成训练后直接对权重和激活值进行低精度转换，无需重新训练或微调。

其中，EMAt​是时间t时的指数移动平均值，xt是时间t时的实际值，β被称为平滑因子，取值范围为0<β<1，EMAt−1是值前一时刻的指数移动平均值，初始条件通常为。（缩放+平移），γ和β都是可学习的参数，它相当于对标准化后的数据做了一个线性变换，γ为系数，β为偏置，eps是一个极小的数，以避免分母为0。，鞍点是指函数在此点一阶导数为零，但该点是某一方向上的函数极大值点，在另一方向上是函数极小值点

卷积神经网络（Convolutional Neural Network，CNN）卷积层：负责提取图像中的局部特征。池化层：负责降维，减少参数量，提高运算速度。全连接层：复杂输出最终的结果。

深度学习（也被称为仿生物脑）是机器学习中的一种特殊方法，它使用被称为神经网络（也被称为仿生物神经元）的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，例如图像、声音和文本。深度学习的精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类，并且随着计算机硬件的发展，可以近似任意的非线性函数。但深度学习是一种“黑箱”模型，很难解释模型的工作机制，并

RNN模型是依次输入各个token并进行编码，因此RNN模型能够直接感知输入序列中各个token之间的位置关系，而在transformer模型中，对于输入序列是并行进行编码的，因此它无法直接感知输入序列中各个token的位置关系，所以transformer中引入了位置编码器（Positional Encoding），位置编码器能够为embedding后的词向量引入该词在输入序列中位置信息。的作用是

知识图谱（Knowledge Graph）是一种基于图数据结构的关系网络或数据库，在知识图谱中，节点可以表示概念（抽象出来的事物，也称本体）、实体（具体的事物）、属性值，边可以表示事物的关系（事物的内外部联系）或属性（事物的内部特征），由于图可以分为有向图和无向图，因此知识图谱也可以是有向或无向的。与传统的关系型数据库，如MySQL相比，知识图谱能够通过节点和边的关系更便捷地处理复杂的多跳关系、并

基于传统机器学习的方法通常是将实体抽取任务转化为序列标注任务，需要经过特征选择（需要人工进行特征选择）、模型选型、模型训练、模型预测四个步骤。隐马尔科夫模型（Hidden Markov Model， HMM）以及条件随机场（Conditional Random Field，CRF）。与基于规则和词典的方法相比基于传统机器学习的方法的可移植性更强，但仍然需要人工进行特征工程，成本较高。

Python在数据处理上独步天下，有着代码灵活、开发快速的优势，尤其是Python的Pandas包，无论是在数据分析领域、还是大数据开发场景中都具有显著的优势。Pandas是Python的一个第三方包，也是商业和工程领域最流行的结构化数据1. 底层是基于NumPy构建的，因此运行速度特别的快。2. 有专门的处理缺失数据的API。3. 强大而灵活的分组、聚合、转换功能1. 数据量大到Excel严重卡

卷积神经网络（Convolutional Neural Network，CNN）卷积层：负责提取图像中的局部特征。池化层：负责降维，减少参数量，提高运算速度。全连接层：复杂输出最终的结果。

七. 特征降维7.1 降维的含义特征对训练模型是非常重要的，但如果用于训练的数据集如果包含一些不重要的特征，则可能导致模型泛化性能不佳，例如：如果某些特征的取值较为接近，那么其所包含的信息也相对较少；如果两个特征的趋势同增同减、非常相关，那么它们不会给模型带来更多的信息。是指在某些限定条件下，降低特征个数，可以帮助我们有效地处理高维特征，防止维度灾难，属于，常用的方法有：低方差过滤法、主成分分析法