剪枝是把对最终任务贡献很小的参数/通道/层删除，使模型更小、更快、更省电，同时尽量不掉精度。参数/显存：降低模型大小、加载时间、显存占用。吞吐/延迟：在结构化剪枝或特定稀疏格式支持下显著加速。正则化：一定程度上还能缓解过拟合。

本文介绍了基于BERT的知识蒸馏实战方法，使用banking77数据集进行意图识别任务。主要内容包括：1）教师模型训练，采用BERT骨干网络+自定义分类头结构，通过MeanPooler实现文本特征提取；2）数据处理流程，包括数据集加载、预处理和批处理padding；3）评估指标设置，使用准确率和宏平均F1值衡量模型性能。代码实现了完整的训练框架，包括模型定义、数据加载和训练配置，为后续学生模型的知

简单来说，BERT其实就是一个预训练模型，是一个文本特征提取器。它的核心思想：第一，就是在一个很大的预料库上进行预训练，得到语言的表征的一个预训练模型；第二，下游在接一个具体任务的一些层，如文本分类、情感识别、问答等，和这个预训练模型进行一起微调训练，进而实现具体的任务。论文参考：https://arxiv.org/pdf/1810.04805。

windows下静态库和动态库构建和使用

在图像处理中，模糊（也称为平滑）和锐化是两种常见的图像滤波技术，它们可以用来改变图像的外观和质量。在OpenCV中，模糊和锐化可以通过不同的滤波器来实现，如平均滤波、高斯滤波、拉普拉斯滤波等。根据具体的需求和应用场景，可以选择合适的滤波器来达到期望的效果。以下是一些具体方法。

（以及量化参数何时确定）。区别主要在**激活的 s/zp（scale/zero-point）**是“离线固定”还是“运行时现算”。更多工程优化：SIMD/向量化、CUTLASS/CUDA 融合 LUT-GEMM、块大小/对齐、标量类型选择（FP16/FP32 scale）。吞吐提升不错（CPU）。**校准/计算：**不需要跑数据集，直接看权重本身（可选用 max-abs、百分位、MSE 等策略确定

onnx , tensorrt 安装推理比较，有代码

很简单，就split和merge api，例子在下面。

（以及量化参数何时确定）。区别主要在**激活的 s/zp（scale/zero-point）**是“离线固定”还是“运行时现算”。更多工程优化：SIMD/向量化、CUTLASS/CUDA 融合 LUT-GEMM、块大小/对齐、标量类型选择（FP16/FP32 scale）。吞吐提升不错（CPU）。**校准/计算：**不需要跑数据集，直接看权重本身（可选用 max-abs、百分位、MSE 等策略确定

TCN网络主要在于提取序列的特征，并且可以实现特征维度的改变，并保持序列长度不变。