前言基于上一篇经典网络架构学习-Transformer的学习，今天我们来使用pytorch 搭建自己的transformer模型，加深对transformer的理解，不仅在NLP领域绕不开transformer，而且在CV领域也是很火热，很多模型都用到了注意力机制。Transformer完整代码安装好pytorch开发环境，可以直接跑的。也可以直接用cpu跑我下面的transformer代码，数据

前几天调通了在windows下usb转的串口，连到fs2410的开发板上，超级终端和DNW都输出正常，后来想在linux下试试效果（在windows xp下vmware中的redhat9），可费了两天劲也没见有输出内容。郁闷的不行。先是从网上找资料，有的说在虚拟机下要用ttyUSB0口，我找机器上的每个usb口试了一遍，也无果而终。后来又找pl2303（我的转串口里的芯片）的linux的

前言基于上一篇经典网络架构学习-Transformer的学习，今天我们来使用pytorch 搭建自己的transformer模型，加深对transformer的理解，不仅在NLP领域绕不开transformer，而且在CV领域也是很火热，很多模型都用到了注意力机制。Transformer完整代码安装好pytorch开发环境，可以直接跑的。也可以直接用cpu跑我下面的transformer代码，数据

对于刚入门的新手来说，Torch API中的维度真的很迷惑人.例如 torch.sum(x, dim=0) 是按着行相加呢，还是列相加？还有TopK，softmax等函数。

安装流程安装服务器MONAI Label以下安装流程是在ubuntu20.04 x64平台上执行的安装 pytorchpip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113安装 monialabelpip install monailabel执行命令后会安装

判断一个点是否在多边形内部的方法面积和判别法：判断目标点与多边形的每条边组成的三角形面积和是否等于该多边形，相等则在多边形内部。夹角和判别法：判断目标点与所有边的夹角和是否为360度，为360度则在多边形内部。引射线法：从目标点出发引一条射线，看这条射线和多边形所有边的交点数目。如果有奇数个交点，则说明在内部，如果有偶数个交点，则说明在外部首先讲解下射线法的原理情况一，显示了具有 14 条边的严重

本文会结合论文UNETR: Transformers for 3D Medical Image Segmentation和代码深入讲解。阅读这篇文章之前最好了解UNET网络和Transformer网络，我之前的博文有总结过，可以参考下。动手实现基于pytorch框架的UNet模型以及Transformer 代码详解(Pytorch版)推荐阅读的UNETR代码实现本文采用的tamasino52实现的

背景知识Marching Cubes算法是三维离散数据场中提取等值面的经典算法，其主要应用于医学领域的可视化场景，例如CT扫描和MRI扫描的3D重建等。等值面空间中所有具有某个相同值的点的集合，可以类比为地形图里的等高线。{(x,y,z)|f(x,y,z)=c},c是常数Marching Cubes算法的基本思想是逐个处理数据场中的立方体（体素），分离出与等值面相交的立方体，采用插值计算出等值面与

可分离卷积包括空间可分离卷积(Spatially Separable Convolutions)和深度可分离卷积(depthwise separable convolution)。

transformer对刚入门深度学习的我来说，太难懂了，从网上查了很多博客，大多文章都来自The Illustrated Transformer。视频链接。这篇文章的图太生动形象了，容易理解。下面就翻译下这篇文章吧，加深记忆。如果你是刚入门transformer，强烈建议你好好阅读本文或者原文。网上太多基于这篇文章的衍生文章，而且写的并不好懂，你看完这篇文章，在看我给你的链接参考文章，会更容易懂