公众号后台回复“图书“，了解更多号主新书内容

作者：livan

 来源：数据python与算法

PNN原理

通过上文对FNN的了解，我们发现了FNN中的一些问题，很多人认为FNN在将Embedding结果输入到神经网络之后学习的交叉特征表达并不充分，因此需要找寻一个较好的方法来弥补FNN的缺陷，PNN应运而生。

PNN提出了product layer的思想，即在原来FNN的基础上添加了一个product layer，结合乘法运算对Embedding之后的交叉特征进行充分融合，如下图：

按照模型的结构，我们来了解一下这个模型：

   1）输出层：y即为模型的最终输出结果：

   2）L₂层：其中的l₂即为L₂层的特征向量，对应的公式为：

公式中的relu为激活函数，根据模型需要可以更换tanh等其他函数。

   3）L₁层：上文中的l₁即为L₁层的输出，L₂层的输入，对应公式为：

重点来了，在这个公式中，我们看到了l_z、l_p两个公式，这两个公式即为PNN的重点改良部分。

    product思想来源与ctr预估对特征的处理，认为特征之间的关系更多是一种“且”的关系，而非"或”的关系。例如，性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群，前者的组合比后者更能体现特征交叉的意义。

     4）product layer： 

    product layer通过点乘的方式对特征进行了深度融合，然后将融合之后的特征深入到DNN中；product layer可以分成两个部分：一部分是线性部分l_z，一部分是非线性部分l_p。二者的形式如下：

其中的点乘部分即为：

具体算法我们在下文中深度分析，这里先梳理整个模型的架构。

     5）Embedding Layer： 

    Embedding层主要是模型中通过FM算法计算而成，这一层的思路与FNN中的思路一致，其目的是将各个field中的one-hot向量转化为统一长度的稠密向量：

在这一层中，训练FM使用的损失函数为：

讲到这里，是不是对PNN有一个整体的认知，接下来，我们深入分析一下PNN的精华部分——product Layer。

观察一下其对应的公式为：

看这一公式我们发现重点在于z和p的计算，z是线性信号向量，因此我们直接用Embedding层得到：

因此得出公式为：

这一部分相对简单，我们来点复杂的，p的运算需要一个映射函数g(f_i,f_j)：

不同的映射函数有不同的数据结果，这一映射函数主要有两个：Inner PNN和Outer PNN，简称为：IPNN和OPNN。

IPNN即为用内积来计算p值：

假设其参数为：

   得出lpn，公式为：

   OPNN即通过元素相乘的叠加，也就是先叠加N个field的Embedding向量，然后做乘法，可以大幅减少时间复杂度，其公式为：

    这一公式应用到p计算中为：

PNN结论

和FNN相比，PNN多了一个product层，和FM相比，PNN多了隐层，并且输出不是简单的叠加；在训练部分，可以单独训练FNN或者FM部分作为初始化，然后BP算法应用整个网络，那么至少效果不会差于FNN和FM。

欢迎大家关注公众号：

    来都来了，点个关注再走呗~

◆ ◆ ◆  ◆ ◆
麟哥新书已经在当当上架了，我写了本书：《拿下Offer-数据分析师求职面试指南》，目前当当正在举行活动，大家可以用相当于原价4.8折的价格购买，还是非常划算的：

点击下方小程序即可进入购买页面：

复制

数据森麟公众号的交流群已经建立，许多小伙伴已经加入其中，感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容，还没有加入的小伙伴可以扫描下方管理员二维码，进群前一定要关注公众号奥，关注后让管理员帮忙拉进群，期待大家的加入。

管理员二维码：


猜你喜欢

● 麟哥拼了！！！亲自出镜推荐自己新书《数据分析师求职面试指南》● 厉害了！麟哥新书登顶京东销量排行榜！● 笑死人不偿命的知乎沙雕问题排行榜
● 用Python扒出B站那些“惊为天人”的阿婆主！● 你相信逛B站也能学编程吗点击阅读原文，即可参与当当购书活动
复制