摘要：本章是在介绍Pointer Network(指针网络)的文章目录1.Introduce（引入）1.Introduce（引入）原始问题：就是输入一大堆数据点，然后再输出一些点且这些点连起来可以将输入点全部包围起来。这个本来是一个演算法可以解决的问题，现在我们用NN来解决。我们把所有点的坐标（当前假设是二维的），丢到NN里面，要求输出得到最外围点的下标。这个问题实际上可以看做是Sequence-

Anomaly Detection（异常检测）文章目录摘要1. 介绍Anomaly Detection1.1 Problem Formulation（问题简要）1.2 What is Anomaly?摘要1. 介绍Anomaly Detection1.1 Problem Formulation（问题简要）1.2 What is Anomaly?

LSTM计算逻辑流程图：对比——GRU计算逻辑流程：

摘要：文章目录1. Transformer的引入2. Self-Attention1. Transformer的引入一般的sequence-to-sequence模型是用RNN（单方向或者双向）来做，RNN输入是一串sequence，输出是另外一串sequence。RNN常被用于input是一个序列的情况,但是有一个问题——不容易平行化（并行化计算）。例如下图中左边的模型就是RNN结构的seque

一、梯度下降gradient descent1.回顾机器学习的步骤：定义一个Model（function set）利用loss function 损失函数评估function的好坏最后利用gradient descent 方法找到最优的function。梯度下降法就是找到最优的参数解，使得损失函数loss function最小。2.在最优化（optimization)就是发现能够最小化损失函数值的

摘要： 本章主要是讲解了文章目录Network Compression( 网络压缩)1. Network Pruning（网络剪枝）1.1Network can be Pruned2. Knowledge Distillation(知识蒸馏)3. Parameter Quantization（参数量化）4. Architecture Design(架构设计)5. Dynamic Computati

摘要： 本章主要是关于自编码器的原理及其应用，自编码器是一种无监督学习方法，可用于数据降维及特征抽取。自编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器通常对输入对象进行压缩表示，解码器对经压缩表示后的code进行解码重构。并介绍Auto文章目录1. 自编码器（Auto-encoder）1. 自编码器（Auto-encoder）...

Generative Adversarial Network(生成对抗网络)文章目录摘要0引言1. Basic Idea of GAN（GAN的基本思想）1.1 Generation（生成）1.2 Discriminator（判别器）1.3 生成器和判别器的关系—对抗学习1.4 Algorithm摘要本章主要是在讲解GAN的基本思想，0引言自2014年Ian Goodfellow 提出了GAN（G

一、classification分类分类（classification），即找一个函数判断输入数据所属的类别，可以是二类别问题（是/不是），也可以是多类别问题（在多个类别中判断输入数据具体属于哪一个类别）。同回归问题（regression）相比，分类问题的输出不再是连续值，而是离散值，用来指定其属于哪个类别。分类问题在现实中应用非常广泛，比如垃圾邮件识别，手写数字识别。...

ELMO，BERT，GPT (三种解决一词多意问题的模型）文章目录摘要1. 提出背景2. Embeddings from Language Model(ELMO)3. Bidirectional Encoder Representations from Transformers(BERT)3.1 Training of BERT摘要1. 提出背景机器是如何理解我们的文字的呢？ 怎样让机器读懂人类文