继上一次遇到这个问题没几天，期间也断断续续遇到过一点以为还是因为硬件原因，再一次进行长按关机键放静电，但是这次就没有效果了，上传还是超级慢。此时我就以为我的电脑坏了，差点拿去修直到我问了我同学，跟我说测一下网速，链接如下我心想网络应该没问题呀，b站视频打开来看视频很丝滑的但是我忽略了网络分上行网络和下行网络，前者很慢就是我目前遇到的问题我测了一下速度，果然下行网络很快，上行网络几乎为0。

假设在反向传播的过程中，有一个很大的梯度传过ReLU神经元，这会引起权重w和偏置b发生变化，使得大部分输入在经过ReLU函数时只能得到一个0，因此 大多数输入不能反向传播通过ReLU得到一个梯度，相当于这个神经元死掉了，因此此现象被称为dying ReLU。简单的理解梯度弥散，就是由于激活函数的“饱和”，当激活函数的导数落入饱和区，梯度会变得非常小。在神经网络发展的历史上，sigmoid函数很早就

昨天写的GCN的一篇文章入榜了，可喜可贺。但是感觉距离我的目标还是有点远，因为最后要用R-GAT，我感觉可能得再懂一点R-GCN和GAT才可能比较好的理解R-GAT，今天就尝试一下把R-GCN搞搞清楚吧（至少得读懂DGL官方给的代码吧）R-GCN和GCN的区别就在于这个R。R-GCN考虑了关系对消息传播的影响。带你快速理解R-GCN（relational-GCN）看看b站这个视频就应该能够比较形象

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Ada

highcharts真的好，加载快，代码易懂，先举个气泡图例子看看。

昨天写的GCN的一篇文章入榜了，可喜可贺。但是感觉距离我的目标还是有点远，因为最后要用R-GAT，我感觉可能得再懂一点R-GCN和GAT才可能比较好的理解R-GAT，今天就尝试一下把R-GCN搞搞清楚吧（至少得读懂DGL官方给的代码吧）R-GCN和GCN的区别就在于这个R。R-GCN考虑了关系对消息传播的影响。带你快速理解R-GCN（relational-GCN）看看b站这个视频就应该能够比较形象

由于期末考试需要考实验代码，为了自己能够印象深刻，考试能够顺利通过，特意写个博客记录一下实验的过程以及其中一些细节。下面将通过一个例题一步一步进行讲解。软件配置：Keil uVision5开发板芯片型号：STM32F103ZE基于C语言的GPIO操作已知：战舰开发板连接按键（输入设备）KEY0、KEY1、KEY2，和发光二极管（输出设备）LED0、LED2.要求：用户任意按下某个按键，开发板根据用

在"无监督学习" (unsupervised learning) 中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。聚类结果的"簇内相似度" (intra-cluster similarity) 高且"簇间相似度" (inter-cluster similarity)被认为是比较好的聚类结果。K-Means聚类又叫K均值聚类，是

昨天的R-GCN是对GCN的一种改进，因为考虑了关系，那么今天的GAT也是对GCN的一种改进，就算使用注意力机制来确定每个节点更新特征时，邻居节点传来的特征的比例，就相当于使用注意力机制来计算特征权重，而不是GCN简单通过度来计算特征权重。如果知道注意力机制应该会比较快理解GAT，目前注意力机制很常见，LSTM、CNN加上注意力机制一般效果都会提升，Transformer就是一个完完全全的多头自注

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Ada