本文讲解的BERT系列模型主要是**自编码语言模型**-AE LM（AutoEncoder Language Model）：通过在输入X中随机掩码（mask）一部分单词，然后预训练的主要任务之一就是根据上下文单词来预测这些单词，从而得到的预训练语言模型。

如标题所见，这篇博客的主题就是基于Seq2Seq模型的机器翻译，它的主要任务就是将一种语言翻译为另一种语言，在这里我们以英语翻译成法语为例子，如I'm a student.---->>>Je suis étudiant.这份数据是公开，可以直接下载的，下载地址为：翻译语料下载地址模型结构首先，我们先了解一下模型的结构：首先，第一部分是编码器Encoder，它接收source se

参考《Distilling the Knowledge in a Neural Network》Hinton等蒸馏的作用首先，什么是蒸馏，可以做什么？正常来说，越复杂的深度学习网络，例如大名鼎鼎的BERT，其拟合效果越好，但伴随着推理（预测）速度越慢。此时，模型蒸馏酒派上用场了，其目的就是为了在尽量减少模型精度的损失的前提下，大大的提升模型的推理速度。实现方法其实，模型蒸馏的思想很简单。第一步，训

TensorFlow Serving简单来说就是一个适合在生产环境中对tensorflow深度学习模型进行部署，然后可以非常方便地通过restful形式的接口进行访问。除此之外，它拥有许多有点：支持配置文件的定期轮询更新（periodically poll for updated），无需重新启动；优秀的模型版本控制；支持并发；支持批处理；基于docker，部署简单。（这些优点我们在下面会逐一提到）

TensorFlow Serving简单来说就是一个适合在生产环境中对tensorflow深度学习模型进行部署，然后可以非常方便地通过restful形式的接口进行访问。除此之外，它拥有许多有点：支持配置文件的定期轮询更新（periodically poll for updated），无需重新启动；优秀的模型版本控制；支持并发；支持批处理；基于docker，部署简单。（这些优点我们在下面会逐一提到）

参考《Distilling the Knowledge in a Neural Network》Hinton等蒸馏的作用首先，什么是蒸馏，可以做什么？正常来说，越复杂的深度学习网络，例如大名鼎鼎的BERT，其拟合效果越好，但伴随着推理（预测）速度越慢。此时，模型蒸馏酒派上用场了，其目的就是为了在尽量减少模型精度的损失的前提下，大大的提升模型的推理速度。实现方法其实，模型蒸馏的思想很简单。第一步，训

1. DMs在训练阶段逐步为干净的图片加入高斯噪声，并去拟合这个噪声，而在采样生成(推理)阶段则是由随机的噪声开始，逐步预测噪声然后去去噪，直至得到高质量的图片，而这主要是通过DDPM来实现；2. LDMs则是在DMs的基础上引入了Autoencoder能够将图像从像素空间压缩到隐空间，极大提升计算效率；3. 并且LDMs还具有引入文本控制条件的建模能力，通过UNet与文本表征进行注意力交叉，实现

搜广推系统一般包括召回和排序，ctr预估一般应用于排序阶段。而像推荐系统，一个鲜明的特点就是数据极特别稀疏。下面，我们会持续学习那些针对稀疏数据的ctr任务而提出的模型，这篇文章则主要是关于FM系列

Wide&Deep，即同时加入低阶特征组合交互的线性模型-Wide、高阶特征交叉的深度模型（Deep），Wide部分模型提供模型的记忆能力，而Deep部分提供模型的泛化能力。这是Wide&Deep系列模型很重要的一个点。

在推荐系统的召回阶段，如Youtube DNN和DSSM双塔模型，向量的最邻近检索是必不可少的一步。一般的做法不会让模型在线预测召回，而是先离线将向量存储，然后在线上进行向量的最邻近检索，作为模型的召回。这篇文章将介绍两个常用的向量最邻近检索工具：Annoy和Faiss。AnnoyAnnoy Github安装pip install annoy支持的距离度量Annoy仅支持树结构的索引类型。欧式距离