有人说Dijkstra也是动态规划。它不是贪心吗？怎么变成动态规划了，是动态规划的话，那么就有状态，有状态方程。将图中的顶点分成２个部分，已知最短路径的顶点集合Ｕ，不知最短路径的集合Ｖ-U问题规模:就是Ｕ里面顶点个数状态:已知最短路径长度:状态方程如下：如果ｖ 在 U中：cdis[v] = dis[v]如果ｖ和Ｕ中某点ｕ直连：cdis[v] =min(dis(u) + w(u,v)）...

初始化，涉及到使用的变量：# =============================================================================# 计算信息量的相关算法# =============================================================================import mathi...

文章目录skip-gram pytorch 朴素实现网络结构训练过程:使用nn.NLLLoss()batch的准备，为unsupervised，准备数据获取（center,contex)的pair：采样时的优化：降低高频词的概率skip-gram 进阶的方法skip-gram pytorch 朴素实现网络结构class SkipGram(nn.Module):def __init...

用pytorch做dropout和BN时需要注意的地方pytorch做dropout:就是train的时候使用dropout,训练的时候不使用dropout,pytorch里面是通过net.eval()固定整个网络参数，没有dropout，BN参数固定，不会进行梯度的计算，啥意思就是相当于网络没看过test数据，理论上对所有的validation set都要使用net.eval()net....

RNN和LSTM的PCB板：先看LSTM：必须清楚的知道每一个变量的形状：1、h,c,以及y经过线性变换前都是hidden_size的；2、矩阵形式的形状如下：# x shape (batch, time_step, input_size)# r_out shape (batch, time_step, output_size)# h...

文章目录集成学习的朴素思想Bootstrap理论Bagging随机森林Boosting集成学习的朴素思想集成学习基于这样的思想：对于比较复杂的任务，综合许多人的意见来进行决策会比“一家独大”要更好。换句话说、就是通过适当的方式集成许多“个体模型”所得到的最终模型要比单独的“个体模型”的性能更优。我们面临两个问题：如何选择、生成弱分类器和如何对它们进行提升（集成）？第一种做法期望各个弱分类器...

神经网络向量形式:y=wT.x+by = w^T . x +by=wT.x+b这只是一个样本的处理，行向量点乘列向量。而我们实际操作使用的是矩阵形式。神经网络矩阵形式:矩阵形式Ｘ放在前面，所以都是ｘ.dot()，我们使用numoy处理都是使用矩阵。神经网络损失函数：求导：求导前准备：以下非常重要要当做基本公式使用．公式１：公式２：公式３：求解析解：使用三个公...

文章目录随机森林算法描述：如何对features进行bootstrap?算法代码实现：随机森林算法描述：如何对features进行bootstrap?我们需要一个feature_bound参数，每次把可以选择的features打乱，从种选出log(d）个，每次选择feature划分时都是这么选择。原来的决策树代码，是在结点的可选node维度列表里选取：for feat in self....

文章目录卷积层的数据shape和普通层的数据shape差别：卷积层实现实现池化层实现 CNN 中的特殊层结构实现 LayerFactory网络结构卷积层的数据shape和普通层的数据shape差别：针对一般图像数据shape: Npq，图像就是二维浮点数据，N为数据个数，p,q为图像的维度。卷积层的中间层数据shape: Npq*r，r为channels。数据的shape必须非常清楚，因为...

文章目录retain和detach先更新D，再更新G，这个也是GAN论文的实现方式先更新G，再更新D，实际上他两谁先谁后都一样，都是相互对抗：第三种是第一种的改进， 先更新D，再更新G，计算最少，还没见到别人实现，估计知名框架这么实现，每具体检查过：retain和detachpytorch有两个功能：retain和detach：retain：意思是保持原来graph，可以还在原图上进行for...