模型压缩技术已成为深度学习实际应用的关键使能器。量化、蒸馏和剪枝作为三大支柱技术，各有特点又相辅相成。实际应用中，工程师需要根据目标硬件、性能需求和开发周期选择合适策略或组合。随着边缘计算和物联网发展，模型压缩将继续扮演重要角色，推动AI向更高效、更普惠的方向发展。

Prompt-Tuning是一种针对超大规模参数模型的微调方法，通过设计合适的模板或指令（Prompt）来引导模型完成特定任务，而无需对模型所有参数进行微调。对于参数量超过10亿的模型，Prompt-Tuning的增益通常高于标准Fine-tuning。通过添加模板的方法来避免引入额外的参数，从而让模型可以在小样本（few-shot）或者零样本（zero-shot）场景下达到理想的效果。promp

Prompt-Tuning是一种针对超大规模参数模型的微调方法，通过设计合适的模板或指令（Prompt）来引导模型完成特定任务，而无需对模型所有参数进行微调。对于参数量超过10亿的模型，Prompt-Tuning的增益通常高于标准Fine-tuning。通过添加模板的方法来避免引入额外的参数，从而让模型可以在小样本（few-shot）或者零样本（zero-shot）场景下达到理想的效果。promp

注意：下面各项参数的顺序）第一个参数：input_size(输入张量x的维度)第二个参数：hidden_size(隐藏层的维度， 隐藏层的神经元个数)第三个参数：num_layer(隐藏层的数量)

(英文：Large Language Model，缩写LLM)大型语言模型是一种基于深度学习的人工智能系统，通过分析海量文本数据学习语言模式、世界知识和推理能力。这些模型通常包含数十亿甚至数千亿个参数，能够生成类似人类的文本、回答问题、翻译语言以及执行各种与语言相关的任务。

神经网络是深度学习计算模型，仿生生物学神经元构造。

有特征有标签（结果驱动），出现两大问题是：分类任务（标签是离散的，函数输出有限个离散值）和回归任务（标签是连续的，函数输出连续的值）有特征无标签（数据驱动），出现问题：聚类任务，降维任务，异常检测任务…2.基于模型的学习：通过编写机器学习算法，让加器自己学习从数据中获得的规律（模型），然后进行预测。数据集划分：训练集（训练模型）和测试集（测试模型），一般对应占比8：2或者7：3。奥卡姆剃刀原则：给

根据样本之间的相似性，将样本划分到不同的类别中的一种无监督学习算法。细节：根据样本之间的相似性，将样本划分到不同的类别中；不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。聚类算法的目的是在没有先验知识的情况下，自动发现数据集中的内在结构和模式。计算样本和样本之间的相似性，一般使用欧式距离。

集成学习:(Ensemble Learning)是一种机器学习范式，它通过构建并结合多个模型来完成学习任务,获得更好的泛化性能。核心思想：通过组合多个弱学习器来构建一个强学习器。bagging思想：有放回的抽样；平权投票，多数表决方式决定预测结果；并行训练。boosting思想：全部样本（重点关注上一训练器不足的地方训练）；加权投票的方式；串行训练。

pytorch框架是Python中对张量进行处理的包，提供各种模块实现各种功能，其中数据是以张量类型存储的。