关于使用tensorflow-gpu 1.14.0版本训练时出现“0 successful operations. 0 derived errors ignored.”的解决方法

vscode连接服务器并上传代码到服务器后，打开代码文件时会出现Select Interpreter消失的问题，即：不显示python解释器和运行按钮，导致不能切换到服务器中的指定python环境。这种问题有以下三种表现：1、页面没有python运行按钮。在编辑.py文件界面上，原来的python运行按钮不显示。

albumentations包是一个强大的数据增强包，本文以一张猫的图片为例，讲解深度学习中常用数据增强的实现方式及使用效果。包括：变换尺寸.Resize、中心裁剪.CenterCrop、随机裁剪.RandomSizedCrop、水平翻转.HorizontalFlip、垂直翻转.VerticalFlip、随机旋转.Rotate、随机亮度对比度.RandomBrightnessContrast、随机

关于使用tensorflow-gpu 1.14.0版本训练时出现“0 successful operations. 0 derived errors ignored.”的解决方法

一套适合新手学习self-attention的保姆级路线，配套相应的底层代码练习。transformer学习的必备入门，教大家从0开始实现self-attention。代码分为两个版本：基于numpy的和基于pytorch的，为大家深层次剖析self-attention的实现过程，帮助大家理解它的运行原理。

。

1 读取图片（转为numpy数组格式）1.1 用cv2读取图像cv2是经常用到的库，用它读入图像的方法为：img = cv2.imread(参数1,参数2)#直接读入是一个三维矩阵其中：参数1是所要读的图像的路径名参数2是加载图像的方式，主要有以下三种：（可以写数字，也可写前面的英文字符串）cv2.IMREAD_COLOR：加载彩色图片，这个是默认参数，可以直接写1。cv2.IMREAD_GRAY

使用tensor最重要的就是掌握tensor数据的查看、提取和变换这三项技能。本篇博客围绕这三个方面展开，介绍了常用的tensor数据切片、torch.masked_select()数据筛选、增加/减少tensor维度、torch.expand()/torch.repeat()矩阵扩充、维度交换和重新排列torch.transpose()/torch.permute()等方法。

使用DataParallel`和DistributedDataParallel进行多GPU并行训练并报错模型，在推理阶段采用单个GPU或者CPU加载模型。加载时容易出现两种错误：IndexError: list index out of range 和 Missing key(s) in state_dict:。这时可以采用map_location=device等方法进行解决。

本文采用关系图的方式整理了：CLiP、ViLT、FLiP、ALBEF、CoCa、BLiP、VLMo、BEiT 和BEiT v3等近几年来经典的多模态大模型，以及这些工作的相互依托关系。灵感来自：跟李沐读论文系列——多模态串讲