近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。本案例完成了一个ViT模型在I

根据前文预测下一个单词。（本文介绍几种选取预测词的方法，及其优缺点）一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积MindNLP/huggingface Transformers提供的文本生成方法在每个时间步𝑡都简单地选择概率最高的词作为当前输出词:按照贪心搜索输出序列("The","nice","woman") 的条件概率为：0.5 x 0.4 = 0.2缺点: 错过了隐藏在

BERT（Bidirectional Encoder Representations from Transformers）是一种基于多层编码器的预训练语言模型，由Google在2018年提出。BERT的核心技术是，它是一种基于自注意力机制的神经网络架构，用于处理序列化数据，特别擅长捕捉长距离依赖关系。BERT模型的主要创新点都在预训练（pre-train）和。在MLM任务中，BERT随机遮蔽输入句

K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。KNN的三个基本要素K值，一个样本的分类是由K个

最后我们设计一个预测函数，实现开头描述的效果，输入一句评价，获得评价的情感分类。将输入句子进行分词；使用词表获取对应的index id序列；index id序列转为Tensor；送入模型获得预测结果；打印输出预测结果。具体实现（代码详原文链接）​​​​​​​​​​​​​​RNN实现情感分类.ipynb - JupyterLab (mindspore.cn)

基于MindNLP和ChatGLM-6B实现一个聊天应用。

SSD，全称（单次多框检测器，SSD的主要特点是它能够在单次前向传播中同时预测多个类别的对象和它们的位置，是Wei Liu在ECCV2016（欧洲计算机视觉会议）上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP平均精度均值，是一个在计算机视觉领域，特别是在目标检测任务中常用的性能评估指标)以及59FP

MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。由于MobileNet网络中R

ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差

如果将Diffusion与其他生成模型（如Normalizing Flows、GAN或VAE）进行比较，它并没有那么复杂，它们都将噪声从一些简单分布转换为数据样本，Diffusion也是从纯噪声开始通过一个神经网络学习逐步去噪，最终得到一个实际图像。Diffusion对于图像的处理包括以下两个过程：我们选择的固定（或预定义）正向扩散过程 𝑞：它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声一个学