本文是沐神10.1 深度神经网络架构课程笔记课件：https://c.d2l.ai/stanford-cs329p/_static/pdfs/cs329p_slides_13_1.pdf这一章主要是关于深度神经网络里面的一些共用的设计模式：批量与层的归一化；残差连接（PPT：https://c.d2l.ai/stanford-cs329p/_static/pdfs/cs329p_slides_13

DKMS全称是Dynamic Kernel Module Support，它可以帮我们维护内核外的这些驱动程序，在内核版本变动之后可以自动重新生成新的模块。这是因为电脑重启自动更新，linux内核升级，之前的nvidia驱动无法正确匹配连接。在使用dkms之前首先需要确保系统中已经安装了 DKMS。4. 输入nvidia-smi检查可以显示显卡信息。注意将450.80.02换成自己的版本。

这种方法的问题是，不仅值可能变得非常大，而且我们的模型可能面临比训练中的句子更长的句子。此外，我们的模型可能不会看到具有特定长度的任何样本，这会影响我们模型的泛化能力。由于Transformer中的嵌入是从头开始训练的，参数可能设置为词的语义不会存储在前几个维度中，以避免干扰位置编码。由于句子中的每个词语同时通过Transformer的编码器/解码器堆栈，模型本身对于每个词语的位置/顺序没有任何概

使用gtest和lcov测试代码覆盖率

实时目标检测(Real-Time Object Detection )过去一直由 YOLO 系列模型主导。YOLO 检测器有个较大的待改进点是需要 NMS 后处理，其通常难以优化且不够鲁棒，因此检测器的速度存在延迟。2020年DETR算法诞生，Detr是第一个基于transformer的端到端算法，没有anchor前处理和NMS后处理，但是Detr收敛慢，训练慢，推理也慢，尽管后续的优化算法不断加

在windows10，anaconda创建虚拟环境后，安装pytorch。运行pip install -r requirement.txt安装torch时报错ERROR: torch has an invalid wheel, .dist-info directory not found安装时候使用的清华源，更换其他国内镜像源仍然不行，，然后尝试命令pip install torch==1.6.0