论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification文章中提到使用双向的LSTM（Bidirectional LSTM）加上Attention的机制处理文本分类的相关问题，以解决CNN模型不适合学习长距离的语义信息的问题。1. 网络结构在Attention...

相比较于图像分类来说，目标检测（Object Detection）不仅需要标记出图像中的物体（通常使用边框标记），同时需要指出该物体是什么。一般比较直观的想法包括以下的三个步骤：得到候选区域；提取候选区域的特征；对该候选区域分类；RCNN（Region with CNN features），又称为基于区域的卷积神经网络，也是基于上述的思路的一种目标检测的方法，基本的思路如下图所示：...

1. 概述随着深度学习在NLP领域的发展，产生很多深度网络模型用于求解各类的NLP问题，在这众多的网络模型中，无疑都会使用到词向量的概念，这就不得不提及word2vec[1]词向量生成工具。从word2vec词向量工具的提出后，预训练的词向量成了众多NLP深度模型中的重要组成部分。然而传统的word2vec生成的词向量都是上下文无关的，其生成的词向量式固定，不会随着上下文的改变而改变，这种固定的词

为了解决多任务模型中普遍存在的负迁移和跷跷板现象，在MMoE模型的基础上提出了CGC模型，在共享专家的基础上增加了针对特定任务的专家网络，可以针对特定任务学习到独有的网络部分，从而避免任务之间的相互影响，同时为了进一步提升整体网络的泛化效果，在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构，进一步提升多任务模型的学习效果。

1. 概述生成对抗网络GAN（Generative adversarial nets）[1]是由Goodfellow等人于2014年提出的基于深度学习模型的生成框架，可用于多种生成任务。从名称也不难看出，在GAN中包括了两个部分，分别为”生成”和“对抗”，整两个部分也分别对应了两个网络，即生成网络（Generator）GGG和判别网络（Discriminator）DDD，为描述简单，以图像生成为例

1. 概述在循环神经网络RNN一文中提及到了循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。2. 算法原理2.1. LSTM的网络结构LSTM的网络结构如下所示（图片来自参考文献）：与循环神经网络RNN相比，LSTM的网络结构要复

1. 概述在循环神经网络RNN一文中提及到了循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。2. 算法原理2.1. LSTM的网络结构LSTM的网络结构如下所示（图片来自参考文献）：与循环神经网络RNN相比，LSTM的网络结构要复

参考文献Perozzi B, Alrfou R, Skiena S. DeepWalk: online learning of social representations[J]. 2014:701-710.DeepWalk源码《DeepWalk: Online Learning of Social Representations》笔记C实现的DeepWalk...

在现如今再回过头来看MTCNN这个模型，无论是模型还是思路上都已经比较落后，但在当时的条件下，确实由于其较好的表现，在业界得到了很多的应用。回顾MTCNN算法，整体的框架是一个多任务的级联框架，同步对人脸检测和人脸对齐两个项目学习，并且在级联的框架中使用了三个卷积网络，并将这三个网络级联起来，一步一步对结果精修，使得能够得到最终理想的效果，同时，在训练的过程中使用到了在线困难样本挖掘的方法，进一步

阿里的模型相对而言是相当复杂的，里面涉及到了大量的attention的计算，这会给在线任务带来巨大的压力。从原理上来说，低一点是对Query进行多粒度的分析，试图能够挖掘多粒度的语义信息。第二点是用户行为的挖掘，相当的复杂了。第三点是对相关性的控制，设立了独立的模块用于控制相关性。其他的如样本的选择，softmax中的温度参数等都差不太多。query侧进行了多粒度的语义分析，但item侧相对就简单