参考：机器学习的熵：机器学习各种熵：从入门到全面掌握 - 知乎 (zhihu.com)相对熵（KL散度）：相对熵（KL散度）信息熵、条件熵、交叉熵、相对熵互信息什么是「互信息」 - 知乎 (zhihu.com)信息增益信息增益表示得知特征的信息而使得类的信息不确定性减少的程度。信息增益是决策树ID3算法在进行特征切割时使用的划分准则，其物理意义和互信息完全相同，并且公式也是完全相同。其公式如下：其

降维（Dimensionality Reduction）视频参考：【机器学习】【白板推导系列】【合集 1～33】_哔哩哔哩_bilibili笔记参考：降维 · 语雀 (yuque.com)过拟合增加数据正则化降维直接降维（特征选择）线性降维（PCA、MDS）非线性降维（流形学习（Isomap、LLE））维度灾难（数据稀疏性）：几何角度对于高维空间而言， 维度越高，球形体的体积越小样本均值 &amp

一、精确率、召回率、准确率混淆矩阵PositiveNegativeTrueTrue Positive(TP)True Negative(TN)FalseFalse Positive(FP)False Negative(FN)True Positive（真正， TP）：将正类预测为正类数True Negative（真负， TN）：将负类预测为负类数False Positive（假正， FP）：将负类

dgl.DGLGraph是对图的统一抽象，它存储了图的结构信息、节点/边的属性信息。

图结构一般而言是十分不规则的，可以认为是无限维的一种数据，因此不存在平移不变性。每一个结点周围的结构都是独一无二的，因此针对该结构的数据。涌现出GNN、DeepWalk、node2vec等等方法。GCN，即图卷积神经网络图卷积神经网络（GCN）tkipf/pygcn (github.com)Graph Convolutional Networks |Thomas Kipf | University

RNN循环神经网络的结构， 它由一个输入层、一个隐藏层和一个输出层组成。语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么在使用RNN之前，语言模型主要采用n-gram, n是一个自然数，假设一个词出现的频率只与前面N个词相关。RNN理论上可以往前（往后看）任意多个词。参考：循环神经网络在计算时， 每一time step中使用的参数是一样的，也就是说每个步骤的参数都是共享的，这是

动手学深度学习（十一、自然语言处理基础知识）∝，数学符号，表示与什么成正比例。负采样的本质：每次让一个训练样本只更新部分权重， 其他权重全部固定， 减少计算量（一定程度上还可以增加随机性）negative sampling 的思想是只需要按照一定的概率分布P抽取K个负样本，比如在skip-gram的例子中，输入“fox”，抽出的负样本可能是“two”，“mother”等等，与正样本放在一起，将多分

图结构一般而言是十分不规则的，可以认为是无限维的一种数据，因此不存在平移不变性。每一个结点周围的结构都是独一无二的，因此针对该结构的数据。涌现出GNN、DeepWalk、node2vec等等方法。GCN，即图卷积神经网络图卷积神经网络（GCN）tkipf/pygcn (github.com)Graph Convolutional Networks |Thomas Kipf | University

RNN循环神经网络的结构， 它由一个输入层、一个隐藏层和一个输出层组成。语言模型：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么在使用RNN之前，语言模型主要采用n-gram, n是一个自然数，假设一个词出现的频率只与前面N个词相关。RNN理论上可以往前（往后看）任意多个词。参考：循环神经网络在计算时， 每一time step中使用的参数是一样的，也就是说每个步骤的参数都是共享的，这是

降维（Dimensionality Reduction）视频参考：【机器学习】【白板推导系列】【合集 1～33】_哔哩哔哩_bilibili笔记参考：降维 · 语雀 (yuque.com)过拟合增加数据正则化降维直接降维（特征选择）线性降维（PCA、MDS）非线性降维（流形学习（Isomap、LLE））维度灾难（数据稀疏性）：几何角度对于高维空间而言， 维度越高，球形体的体积越小样本均值 &amp