这里的标签指的是真实数据的真实标签，比如mnist数据集，真实数据的真实标签就是123456789这10个数字。那如何把这个标签信息喂入模型？但是cgan的这种输入标签的做法，会出现模型不一定会重视你输入的标签信息的情况，此时infogan提出了一 个解决方案：infogan提出给损失函数加入一项：“能以某种评估指标衡量生成的图像G(x/c)与额外信息(c)之间 的相关性”项。那把标签都输入模型了

哎，笑一会儿，本来记忆和遗忘就是一体两面，非此即彼的。从上图的公式看，其实这两个门，仅仅是两个门而已，它们两个的计算一模一样，输入一模一样，只是使用了两个不同的矩阵线性变换了一下，而且这两个矩阵都是随机生成的，只有在训练过程中，这两个门才会慢慢迭代成其功能的门。有的资料叫节点，有的叫单元，有的叫循环单元，，，等等各种叫法，所以我们也不用纠结。第二个坑就是上图的C处，我一开始先计算的rt*ht-1，

之所以把这个算法单独拿出来讲解，是因为这个算法比较有用，很多算法搭配这个算法，实现起来效果会更好，但是这个算法放到哪个章节都显得很突兀，因为这个算法其实是一个机器学习中的聚类算法，所以应该把这个算法和其他几种聚类算法比如kmeans、DBSCAN、层次聚类算法Birch等放在一起写，但是由于精力有限，先单独成一章把这个算法说清楚吧，而且这个算法的亮点就是用在图像处理领域。其他几种聚类算法以后有机会

八、优化算法：GD、SGD、动量法、AdaGrad、RMSProp、Adam、AMSGrad优化算法是深度学习中的关键环节，我们经常说的炼丹主要指的就是这个环节。1、优化算法是解决什么的？优化算法的种类？我们已经知道，当样本数据正向传播一次，就会得到网络的一次预测，而网络的预测和样本标签又构成了我们的损失loss，我们的目标就是让loss最小化。一般我们都把loss看做上图1的山川。就是这个los

简单的说，求导就是求梯度，有了梯度就可以更新参数，更新了的新参数就是损失函数减小的一组参数，如此往复，就是模型学习样本数据，就是我们训练了模型。当损失函数小到我们可以接受的程度，此时的模型就是最优的模型，此时的模型就可以很好的帮我们人类预测样本了。我们计算loss关于w、b的偏导，从几何角度看，就是在loss函数的(w,b)点，找到了loss的切面，而沿着这个切面的反方向就是loss下降最快的方向

集成算法就是建立很多个弱评估器(也叫基评估器)，然后以某种集成规则把这些弱评估的评估结果集成，从而达到比单个弱评估器更好的效果。核心思想就是三个臭皮匠顶个诸葛亮。臭皮匠是谁？决策树、线性回归、逻辑回归、朴素贝叶斯、SVM、KNN等等都可以，就是这些单个评估器都可以当作基评估器。三个臭皮匠能顶一个诸葛亮吗？假如有3个弱评估器，每个弱评估器的效果都是0.6，这里先简单的以少数服从多数的集成规则进行集成

这里的标签指的是真实数据的真实标签，比如mnist数据集，真实数据的真实标签就是123456789这10个数字。那如何把这个标签信息喂入模型？但是cgan的这种输入标签的做法，会出现模型不一定会重视你输入的标签信息的情况，此时infogan提出了一 个解决方案：infogan提出给损失函数加入一项：“能以某种评估指标衡量生成的图像G(x/c)与额外信息(c)之间 的相关性”项。那把标签都输入模型了