欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。深度学习最大的贡献，个人认为就是表征学习（representation learning），通过端到端的训练，发现更好的features，而后面用于分类（或其他任务）的输出function，往往也只是普通的softmax（或者其他一些经

上一篇介绍了二阶优化算法Natural Gradient Descent（自然梯度算法），虽然可以避免计算Hessian，但是依然在计算代价上极高，对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC

参考资料https://blog.csdn.net/batuwuhanpei/article/details/51979831https://blog.csdn.net/u011722133/article/details/53518134无约束优化方法(梯度法-牛顿法-BFGS- L-BFGS）优化算法——拟牛顿法之DFP算法牛顿法与拟牛顿法牛顿法，拟牛顿法， 共轭梯度法...

开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。直观理解本章记录一下霍夫丁不等式 Hoeffding Inequality，以及占个位，以后其他类似的不等式...

二阶优化算法Natural Gradient Descent，是从分布空间推导最速梯度下降方向的方法，和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。18年新开一个强化学习方法系列，督促自己能够再不断扩充知识并分享给更多的同学。其实前面写的机器学习方法系列和深度学习方法系列，也都还没有写够，平时工作比较忙，更新很慢，但是我还是会努力更新的。今天开始记录一些强化学习的知识，这些内容以..

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、机器学习技术感兴趣的同学加入。上一篇讲了深度学习方法（十）：卷积神经网络结构变化——Maxout Networks，Network In Network，Global Average Pooling，本篇讲一讲Google的Inception系列net，以及

本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作：- SimCLR——Hinton组的工作，第一作者Ting Chen- MoCo v2——He Kaiming组的工作，第一作者Xinlei Chen

欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入。本篇重点讲一下RBM模型求解方法，其实用的依然是梯度上升方法，但是求解的方法需要用到随机采样的方法，常见的有：Gibbs Sampling和对比散度(contrastive divergence, CD)算法。RBM

word embedding算法中最为经典的算法就是今天要介绍的word2vec，最早来源于Google的Mikolov的：1、Distributed Representations of Sentences and Documents2、Efficient estimation of word representations in vector space也是开创了无监督词嵌入的新局面，让...