在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。今天将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。

SSD，全称Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP(mean Average Precision)以及59FPS；对于512x512的网络，达到了76.9%mAP ，超越当时最强的Faster R

序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。

将底层（stride 32）的预测（FCN-32s）进行2倍的上采样得到原尺寸的图像，并与从pool4层（stride 16）进行的预测融合起来（相加），这一部分的网络被称为FCN-16s。随后将这一部分的预测再进行一次2倍的上采样并与从pool3层得到的预测融合起来，这一部分的网络被称为FCN-8s。在卷积过程的卷积操作和池化操作会使得特征图的尺寸变小，为得到原图的大小的稠密图像预测，需要对得到

浏览了一遍入门教程后，就迫不及待的想尝试一下实际项目，将《ResNet50图像分类》作为我的第一个项目。按照教程，复制代码运行了一遍，非常顺利，训练的速度也很快。虽然对代码细节没有详细学习，但是整体对使用mindspore 平台有了一个直观的感受，非常棒。昨天申请到了训练营的算力，今天登录上去进行第一天的学习。

随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。

混合精度（Mix Precision）训练是指在训练时，对神经网络不同的运算采用不同的数值精度的运算策略。在神经网络运算中，部分运算对数值精度不敏感，此时使用较低精度可以达到明显的加速效果（如conv、matmul等）；当前的AI加速卡通常通过针对计算密集、精度不敏感的运算设计了硬件加速模块，如NVIDIA GPU的TensorCore、Ascend NPU的Cube等。模块提供了便捷的自动混合精

今天是入营第二天，不再贪进度，老老实实按照教程来。今天学的快速入门，完整的将一个基础项目做完，对昇思平台有一个基本了解。虽然代码不是自己一行行敲上去的，但也通读了一遍，比昨天直接复制代码看结果有进步了。

情感分类是自然语言处理中的经典任务，是典型的分类问题。

张量之间有很多运算，包括算术、线性代数、矩阵处理（转置、标引、切片）、采样等，张量运算和NumPy的使用方式类似，普通算术运算有：加（+）、减（-）、乘（*）、除（/）、取模（%）、整除（//）。第三天，今天复习了张量的概念，并了解了如何在昇思平台处理张量。Tensor可以和NumPy进行互相转换操作。