深度学习在2010年燃起来以后，较大的革新集中出现在网络结构上。例如，在图像领域，出现了AlexNet, VGG, GoogNet, Inception系列，Res-Net，DenseNet和MobileNet等不同的卷积神经网络；在文本处理领域，出现了RNN，GRU，LSTM等不同的循环神经网络结构。再加上在不同的网络结构中的调参（层数，每层的单元数，卷积核的大小，卷积核的stride的大小等等

在Pix2Pix中，输入图像数据都是成对的。但在现实生活中，两个不同领域的图像很难有成对的。莫奈的画很好，但莫奈永远也画不出21世纪的样子，那么要想让21世纪的图像变成莫奈风格，就必须用到无pair数据。在语言翻译中，常用的假设是Cycle一致性，即X语言翻译到Y语言在翻译回X语言，应该和初始的表达是一致的。而一言以蔽之，本文介绍的CycleGAN算法就是基于Cycle一致性来解决Unpaired

现在有很多人认为神经网络可以和人脑中的机制相似。我却认为，或许人脑中有的机制与此类似，但一定是一个复杂的系统。但我们其实可以完全不必模仿人脑的构造，因为人工建立的智能一定比人脑在各个方面都要强上百倍，也正如学飞行不能看雄鹰振翅而是空气动力学一样。因为我的如此认识，所以当我看到有一片论文是将决策森林和卷积神经网络糅合到一起的时候，我感觉到`something is more close.`

在我刚刚过去的研究生毕设中，我在ImageNet数据集上验证了图像特征二值化后仍然具有很强的表达能力，可以在检索中达到较好的效果。而Bengio大神的这篇文章，则不止于将特征二值化，而是要将权重和每层的激活值统统二值化。相比于非二值化的网络，将大量的数学运算变成了位操作。这样就节省了大量的空间而前向传播的时间，使神经网络的应用门槛变得更低。

图像修复问题就是还原图像中缺失的部分。基于图像中已有信息，去还原图像中的缺失部分。从直观上看，这个问题能否解决是看情况的，还原的关键在于剩余信息的使用，剩余信息中如果存在有缺失部分信息的patch，那么剩下的问题就是从剩余信息中判断缺失部分与哪一部分相似。而这，就是现在比较流行的PatchMatch的基本思想。

图像修复问题就是还原图像中缺失的部分。基于图像中已有信息，去还原图像中的缺失部分。从直观上看，这个问题能否解决是看情况的，还原的关键在于剩余信息的使用，剩余信息中如果存在有缺失部分信息的patch，那么剩下的问题就是从剩余信息中判断缺失部分与哪一部分相似。而这，就是现在比较流行的PatchMatch的基本思想。

Ubuntu14.04配置cuda-convnet在上一个链接中，我配置了cuda，有强大的GPU，自然不能暴殄天物，让资源白白空闲着，所以配置一下卷积神经网络跑一下程序喽。至于卷积神经网络的原理，容后再写。打算先写库的用法，再写原理，以行动带动对理论的追求。

论文将MRF和CNN结合起来，把[2]的Gram矩阵用MRF Loss进行了替代。即能利用CNN抽象特征的提取能力，又能利用MRF的空间布局限制，提高了生成图像的质量。

图像风格转换算法将图片生成以生成的方式进行处理，如风格转换，是从一张噪音图（相当于白板）中得到一张结果图，具有图片A的内容和图片B的风格。而Perceptual Losses则是将生成问题看做是变换问题。即生成图像是从内容图中变化得到。

本文对应公开课的第13个视频，这个视频仍然和EM算法非常相关，第12个视频讲解了EM算法的基础，本视频则是在讲EM算法的应用。本视频的主要内容包括混合高斯模型（Mixture of Gaussian, MoG）的EM推导、混合贝叶斯模型（Mixture of Naive Bayes，MoNB）的EM推导、因子分析模型（Factor Analysis Model）及其EM求解。由于本章内容较多，故而