http://antkillerfarm.github.io/Ultra Deep NetworkFractalNet论文：《FractalNet: Ultra-Deep Neural Networks without Residuals》Resnet in Resnet论文：《Resnet in Resnet: Generalizing Residual Ar...

Flow-based Model, Diffusion Model, Autoregressive Model

机器学习（二十三）——Beam Search, NLP机器翻译常用评价度量, 模型驱动 vs 数据驱动

A2C & A3CActor-Critic一般简称AC算法。针对它的一般用法参见《机器学习（三十五）》。AC算法也可用于DRL领域，具体的做法和DQN类似：一个Actor网络，用来近似V值。一个Critic网络，用来近似Q值。这里有个小技巧：Actor网络和Critic网络可以共享网络参数，两者仅最后几层使用不同结构和参数。（参见下图A3C的图）针对AC的改进，衍...

机器学习（十九）——PageRank算法, KNN, loss function详解

深度学习（七）—— GAN

https://antkillerfarm.github.io/Fast Image Processing（续）这个课题一般使用MIT-Adobe FiveK Dataset作为基准数据集。网址：http://groups.csail.mit.edu/graphics/fivek_dataset/这个数据集包含了5K张原始照片，并雇用了5个专业修图师，对每张图片进行修图。众所周...

博弈论智猪博弈问题智猪博弈问题是John Nash于1950年提出的问题。在一个猪圈里养着一头大猪和一头小猪，在猪圈的一端放有一个猪食槽，在另一端安装有一个按钮，它控制着猪食的供应量。假定：猪按一下按钮，就有8单位猪食进槽，但谁按按钮就会首先付出2单位成本；若大猪先到食槽，则大猪吃到7单位食物，而小猪仅能吃到1单位食物；若小猪先到，则大猪和小猪各吃到4单位食物；若两猪同时到，则大猪...

PPO（Proximal Policy Optimization）PPO是2017年由OpenAI提出的一种基于随机策略的DRL算法，也是当前OpenAI的默认算法。PPO是一种Actor-Critic算法。它的主要改进在它的Actor部分。我们知道，Policy Gradient算法的训练过程中，始终存在着new Policy和old Policy这样一对矛盾。一方面，我们需要new P...

深度学习（六）——CNN进化史