机器学习资料整理      &amp

xDeepFM这篇文章是中科大、北邮和微软合作发表在KDD'18上的文章，乍一看论文标题xDeepFM还以为是对DeepFM的改进，实际上xDeepFM是对DCN（deep&cross network）中cross部分做了改进。xDeepFM主要包含三部分：线性部分、CIN部分用于构造高阶交叉特征、普通的DNN部分用于自动学习隐式交叉特征。最终联合训练优化。

PNN模型（Product-based Neural Networks）和上一篇博客介绍的FNN模型一样，都是出自交大张伟楠老师及其合作者，这篇paper发表在ICDM'2016上，是个CCF-B类会议，这个模型我个人基本上没听到过工业界哪个公司在自己的场景下实践过，但我们依然可以看看这篇paper的成果，也许能为自己的业务模型提供一些参考借鉴意义。PNN是通过引入product（可以是内积也可以

DCN思想依然是推荐系统模型的永恒主题——**如何得到更有效的交叉特征，从而提高模型的表达能力。**其主要工作是针对wide&deep网络中wide部分做了改进，在wide&deep网络中，wide部分是个简单的线性模型，其交叉特征依然需要人工设计，而在DCN中设计了专门的cross网络用于自动学习交叉特征。

百度这篇文章老实讲，创新点是弱了点，这应该也是被SIGIR'21录用为短文的原因吧。个人认为这篇文章最让人感兴趣的反而不是这个模型结构，而是文章中笔墨不多的凤巢目前模型架构的一些trick，然而遗憾的是不知道是因为短文篇幅受限的原因还是不想过多描述的原因（大概率是这个原因），这部分没有被过多的介绍。

CTR预估模型在学术界/工业界进化的路线有明显的几个节点：1. 从单特征到交叉特征，围绕着如何学到更有用的交叉特征，诞生了一系列的模型。2. attention火起来后，被迅速应用到CTR预估领域中，又有很多模型被提出。3. gate网络火起来后，同样也催生了一些模型。但话说，我其实一直没太搞明白『attention』和『gate』本质上的区别是什么？言归正传，这篇博客将要介绍新浪微博张俊林大佬团

DSSM全称Deep Structured Semantic Models，是伊利诺伊大学厄巴纳-香槟分校（UIUC）与微软于2013年发表在CIKM上的，盲猜是一作在微软实习时的工作，所以基本上是微软的成果。DSSM在业界搜广推的影响力目前来说是超过前面介绍的任何一个模型，基本上统治了召回/粗排阶段。值得一提的是我厂（百度）同样在2013年（那个年头的百度还处在如日中天的状态）搞了个双塔模型si

DeepFM受到谷歌wide&deep模型的启发，是一个左右组合（混合）模型结构，不同的是，在wide部分用了FM模型来代替LR模型。1. 在wide部分使用FM代替了wide&deep中的LR，有了FM自动构造学习二阶（考虑到时间复杂度原因，通常都是二阶）交叉特征的能力，因此不再需要特征工程。Wide&Deep模型中LR部分依然需要人工的特征交叉，比如【用户已安装的app】与【给用户曝光的app

FNN全称Factorisation Machine supported Neural Network，如果用一句简短的话概括FNN那就是：FM+MLP，如果再用一句稍显复杂的话概括FNN那就是：FNN是一个两阶段训练的模型，阶段一先训练一个FM模型得到每个field的embedding向量，阶段二，基于阶段一的embedding向量初始化MLP的embedding层，然后训练一个MLP（DNN）

推荐系统（四）Field-aware Factorization Machines（FFM）推荐系统系列博客：推荐系统（一）推荐系统整体概览推荐系统（二）GBDT+LR模型推荐系统（三）Factorization Machines（FM）上一篇博客介绍了FM模型，这篇博客来介绍下FM模型的改进版FFM模型，看名字也能窥探一二，FFM模型相比较FM模型改进点在于“F”，这个F指的是Field-awa