论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification文章中提到使用双向的LSTM（Bidirectional LSTM）加上Attention的机制处理文本分类的相关问题，以解决CNN模型不适合学习长距离的语义信息的问题。1. 网络结构在Attention...

相比较于图像分类来说，目标检测（Object Detection）不仅需要标记出图像中的物体（通常使用边框标记），同时需要指出该物体是什么。一般比较直观的想法包括以下的三个步骤：得到候选区域；提取候选区域的特征；对该候选区域分类；RCNN（Region with CNN features），又称为基于区域的卷积神经网络，也是基于上述的思路的一种目标检测的方法，基本的思路如下图所示：...

1. 概述在循环神经网络RNN一文中提及到了循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。2. 算法原理2.1. LSTM的网络结构LSTM的网络结构如下所示（图片来自参考文献）：与循环神经网络RNN相比，LSTM的网络结构要复

参考文献Perozzi B, Alrfou R, Skiena S. DeepWalk: online learning of social representations[J]. 2014:701-710.DeepWalk源码《DeepWalk: Online Learning of Social Representations》笔记C实现的DeepWalk...

在现如今再回过头来看MTCNN这个模型，无论是模型还是思路上都已经比较落后，但在当时的条件下，确实由于其较好的表现，在业界得到了很多的应用。回顾MTCNN算法，整体的框架是一个多任务的级联框架，同步对人脸检测和人脸对齐两个项目学习，并且在级联的框架中使用了三个卷积网络，并将这三个网络级联起来，一步一步对结果精修，使得能够得到最终理想的效果，同时，在训练的过程中使用到了在线困难样本挖掘的方法，进一步

阿里的模型相对而言是相当复杂的，里面涉及到了大量的attention的计算，这会给在线任务带来巨大的压力。从原理上来说，低一点是对Query进行多粒度的分析，试图能够挖掘多粒度的语义信息。第二点是用户行为的挖掘，相当的复杂了。第三点是对相关性的控制，设立了独立的模块用于控制相关性。其他的如样本的选择，softmax中的温度参数等都差不太多。query侧进行了多粒度的语义分析，但item侧相对就简单

在ESMM网络中，通过引入两个辅助任务CTR和CTCVR，由于这两个任务的输入空间都变成了“曝光”，从而解决了传统CVR建模中在training和inference两个过程中输入空间不一致的问题，另一个方面，因为“曝光->点击”阶段的样本量要比“点击->转化”阶段的样本量要大，鉴于Embedding层参数的共享，因此，能够充分学习到Embedding层的参数。

在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。

Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。在BiLSTM中，多个隐层状态的融合有不同的方法，如上面直接用最后一个隐层状态作为最终的

知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。