深度学习的困境：模型太大，算力不足。如何将大型的模型部署在移动设备、嵌入式设备？必要性在许多网络结构中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务。可行性论文提出，其实在很多深度的神经网络中存在着显著的冗余。仅仅使用很少一部分(5%)权值就足以预测剩余的权值。该论文还提出这些剩下的权值甚至可以直接不用被学习。也就是说，仅仅训练一

Nadaraya-Watson核回归是具有注意力机制的机器学习范例。Nadaraya-Watson核回归的注意力汇聚是对训练数据中输出的加权平均。从注意力的角度来看，分配给每个值的注意力权重取决于将值所对应的键和查询作为输入的函数。注意力汇聚可以分为非参数型和带参数型。注意力分数是query和key的相似度，注意力权重是分数的softmax结果两种常见的分数计算将query和key合并起来进入一个

BERT针对微调设计基于Transformer的编码器做了如下修改模型更大，训练数据更多输入句子对，片段嵌入，可学习的位置编码训练时使用两个任务带掩码的语言模型下一个句子预测（如下图所示，一张图片可以通过T步 加噪 （高斯分布）变成一个充满噪声的图片，那么我们如何进行一个反向操作，进行去噪，这就是DDPM做的）扩散模型可以形象的比喻为：“在我开始工作之前，雕塑已经在大理石块内完成。它已经在那里了我

背景：近年来，机器学习（ML）和深度学习（DL）在计算机视觉、自然语言处理、股票预测、预测和音频处理等多个领域取得显著进展。然而，针对这些复杂任务训练的深度学习模型规模较大，难以在资源受限的设备上部署，例如在 ImageNet 数据集上预训练的 VGG16 模型大小超过 500MB，而手机和物联网设备等资源受限设备内存和计算能力有限。问题：对于实时应用，需要将训练好的模型部署到资源受限设备上，但流

局部最小 vs 全局最小全局最小：局部最小：使用迭代优化算法来求解，一般只能保证找到局部最小值。

BERT针对微调设计基于Transformer的编码器做了如下修改模型更大，训练数据更多输入句子对，片段嵌入，可学习的位置编码训练时使用两个任务带掩码的语言模型下一个句子预测（如下图所示，一张图片可以通过T步 加噪 （高斯分布）变成一个充满噪声的图片，那么我们如何进行一个反向操作，进行去噪，这就是DDPM做的）扩散模型可以形象的比喻为：“在我开始工作之前，雕塑已经在大理石块内完成。它已经在那里了我

背景：近年来，机器学习（ML）和深度学习（DL）在计算机视觉、自然语言处理、股票预测、预测和音频处理等多个领域取得显著进展。然而，针对这些复杂任务训练的深度学习模型规模较大，难以在资源受限的设备上部署，例如在 ImageNet 数据集上预训练的 VGG16 模型大小超过 500MB，而手机和物联网设备等资源受限设备内存和计算能力有限。问题：对于实时应用，需要将训练好的模型部署到资源受限设备上，但流

Nadaraya-Watson核回归是具有注意力机制的机器学习范例。Nadaraya-Watson核回归的注意力汇聚是对训练数据中输出的加权平均。从注意力的角度来看，分配给每个值的注意力权重取决于将值所对应的键和查询作为输入的函数。注意力汇聚可以分为非参数型和带参数型。注意力分数是query和key的相似度，注意力权重是分数的softmax结果两种常见的分数计算将query和key合并起来进入一个

BERT针对微调设计基于Transformer的编码器做了如下修改模型更大，训练数据更多输入句子对，片段嵌入，可学习的位置编码训练时使用两个任务带掩码的语言模型下一个句子预测（如下图所示，一张图片可以通过T步 加噪 （高斯分布）变成一个充满噪声的图片，那么我们如何进行一个反向操作，进行去噪，这就是DDPM做的）扩散模型可以形象的比喻为：“在我开始工作之前，雕塑已经在大理石块内完成。它已经在那里了我

背景：近年来，机器学习（ML）和深度学习（DL）在计算机视觉、自然语言处理、股票预测、预测和音频处理等多个领域取得显著进展。然而，针对这些复杂任务训练的深度学习模型规模较大，难以在资源受限的设备上部署，例如在 ImageNet 数据集上预训练的 VGG16 模型大小超过 500MB，而手机和物联网设备等资源受限设备内存和计算能力有限。问题：对于实时应用，需要将训练好的模型部署到资源受限设备上，但流