[1]【GNN】GAT：Attention 在 GNN 中的应用[2]图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解[3]https://github.com/dmlc/dgl/tree/master/examples/pytorch/gat[4]https://github.com/PetarV-/GAT

本文为自己自学内容的记录，其中多有借鉴别人博客的地方，一并在在参考文献中给出链接，其中大部分截图来自李宏毅深度学习PPT课件。本文前置知识高斯混合模型和EM算法，如果不了解这两种算法直接看VAE模型会有理解上的障碍。其实那么多数学公式推导，我自己都有点晕，但是本质上就是用自编码器去产生很多高斯分布，去拟合样本的分布，然后某个x对应的高斯分布里采样z，然后复原成x，跟GAN区别就是这个是完全去模仿分

目录1 交叉熵损失函数2 二元交叉熵损失函数2.1 torch.nn.BCELoss()2.2 torch.nn.BCEWithLogitsLoss()3 参考文献1 交叉熵损失函数  在之前的损失函数介绍中已经解释过，什么是交叉熵损失函数以及其数学原理（【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍）。在多分类问题中输出层的函数是SoftmaxSoftmax

&emap;&emap;遇到了正负样本不均衡的问题，正样本数目是负样本的5倍，这样会导致FP率较高。尝试将正样本的loss权重增高，看BCEWithLogitsLoss的源码。Examples::>>> target = torch.ones([10, 64], dtype=torch.float32)# 64 classes, batch size = 10&g

import scipy . sparse as sp # 定义一个空的稀疏矩阵 s = sp . csr_matrix((3 , 3)) print(s . shape) # (3, 3) 根据行列索引建。

目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献1 交叉熵的定义  交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0

  有时创建了新的虚拟环境之后才发现，有些包并不支持现有的python版本这就很麻烦。常用的改变这一窘境的方法就是重新建一个虚拟环境，但是之前花了很多时间装了那么多包，这不就浪费了嘛。最好的一种做法就是在当前环境下降低版本，代码如下：conda install python=版本号  这就是替换几个包的问题，换起来很快。其实换完之后会发现，之前安装的包也都没有了。很尴尬，但是也比重新删除安装简单。

  在做深度学习任务时，刚入手一个模型用到的一般是经典数据集。而且在模型中都集成好了，不需要做过多的处理。但是，在使用模型跑自己数据集时候，我们就必须了解模型的输入输出是什么。因此，对标准数据集是啥样的必须要掌握。在这里介绍一个Cora引文数据集：[1]图数据集之cora数据集介绍 — 适用于GCN任务[2]8/27 图数据集之cora数据集...

  torch.utils.data.DataLoader主要是对数据进行batch的划分，除此之外，特别要注意的是输入进函数的数据一定得是可迭代的。如果是自定的数据集的话可以在定义类中用def__len__、def__getitem__定义。  使用DataLoader的好处是，可以快速的迭代数据。import torchimport torch.utils.data as Datatorch.

函数用法  random.shuffle()用于将一个列表中的元素打乱顺序，值得注意的是使用这个方法不会生成新的列表，只是将原列表的次序打乱。代码案例# shuffle()使用样例import randomx = [i for i in range(10)]print(x)[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]random.shuffle(x)print(x)[2, 5, 4