1. 概述2. 算法原理参考文献Chen Q , Zhao H , Li W , et al. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba[J]. 2019.阿里推荐算法（BST）: 将Transformer用于淘宝电商推荐

1. 神经网络1.1. 神经元概述神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示：对于上述的神经元，其输入为x1x_1x1​，x2x_2x2​，x3x_3x3​以及截距+1+1+1，其输出为：hW,b(x)=f(WTx)=f(∑i=13Wixi+b)h_{\mathbf{W},b}\left ( \mathbf{x} \right )=f\left ( \mathb

论文地址：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification文章中提到使用双向的LSTM（Bidirectional LSTM）加上Attention的机制处理文本分类的相关问题，以解决CNN模型不适合学习长距离的语义信息的问题。1. 网络结构在Attention...

一、BP神经网络的概念二、BP神经网络的

参考文献https://blog.csdn.net/shine19930820/article/details/78810984

1. 概述在循环神经网络RNN一文中提及到了循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。2. 算法原理2.1. LSTM的网络结构LSTM的网络结构如下所示（图片来自参考文献）：与循环神经网络RNN相比，LSTM的网络结构要复

1. 概述循环神经网络（Recurrent Neural Networks, RNN）主要用于时序数据，最常见的时序数据如文章，视频等，ttt时刻的数据与t−1t-1t−1时刻的数据存在内在的联系。RNN模型能够对这样的时序数据建模。2. 算法原理RNN模型的基本结构如下所示（图片来自参考文献）：如上图所示，循环神经网络通过使用自带反馈的神经元，能够处理任意长度的时序数据，对此结构按照时间展开的形

知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。

相比较于图像分类来说，目标检测（Object Detection）不仅需要标记出图像中的物体（通常使用边框标记），同时需要指出该物体是什么。一般比较直观的想法包括以下的三个步骤：得到候选区域；提取候选区域的特征；对该候选区域分类；RCNN（Region with CNN features），又称为基于区域的卷积神经网络，也是基于上述的思路的一种目标检测的方法，基本的思路如下图所示：...

1. 概述在原始的GAN[1]中，生成网络GGG和判别网络DDD使用的都是前馈神经网络MLP。随着深度学习技术的发展，得益于卷积神经网络CNN在图像领域的成功，在DCGAN[2]中尝试将CNN与GAN相结合，用CNN网络替换GAN的生成网络GGG和判别网络DDD中的MLP，同时在训练的过程中使用了一些技巧来避免模型崩溃和模型不收敛等问题。2. 算法原理2.1. DCGAN的优化相比于GAN，除了将