对于深度学习而言，正则化方法就是“通过把一部分不重要的复杂信息损失掉，以此来降低拟合难度以及过拟合的风险，从而加速了模型的收敛”，而本篇文章我们要讲的Normalization方法的目的就是让分布稳定下来（降低各维度数据的方差），不同的正则化方法的区别只是操作的信息维度不同，即选择损失信息的维度不同。

OverviewOverviewUsagesTF-IDFBM25LSHSIFFastTextRNN BaseCNN BaseBert BaseAlbertNEZHARoBERTaSimCSEOverviewDataset: 中文/English 语料, ☞点这里Paper: 相关论文详解, ☞点这里The implemented method is as follows:：TF-IDFBM25LS

一个能够在线部署的全流程对话系统，项目地址：[nlp-dialogue](https://github.com/DengBoCong/nlp-dialogue)。本项目的目标是奔着构建一个能够在线部署、执行、应用的全流程对话系统，即包含语料处理、训练、评估、推断、部署、Web服务的从头到尾的UI化系统功能。项目中计划同时包含开放域和面向任务型两种对话系统，模型的思路来源即为针对相关模型进行复现（论

一个能够在线部署的全流程对话系统，项目地址：[nlp-dialogue](https://github.com/DengBoCong/nlp-dialogue)。本项目的目标是奔着构建一个能够在线部署、执行、应用的全流程对话系统，即包含语料处理、训练、评估、推断、部署、Web服务的从头到尾的UI化系统功能。项目中计划同时包含开放域和面向任务型两种对话系统，模型的思路来源即为针对相关模型进行复现（论

NLP的语音合成中，有一种关键技术是将文字拆解成音素，再去语音库里匹配相同音素的语音片段，来实现文字转换语音。音素是给定语言的语音，如果与另一个音素交换，则会改变单词的含义，同时，音素是绝对的，并不是特定于任何语言，但只能参考特定语言讨论音素。由于音素的特性，非常适合用于语音合成领域。

RNN的神奇用的人都说话，不过在使用RNN的时候，还是需要知道一些技巧，有利于我们实现更符合预期的模型，本文将会介绍以下三种技巧。循环dropout（recurrent dropout）。这是一种特殊的内置方法，在循环层中使用dropout 来降低过拟合。堆叠循环层（stacking recurrent layers）。这会提高网络的表示能力（代价是更高的计算负 荷）。双向循环层（bidirect

Keras的Tokenizer是一个分词器，用于文本预处理，序列化，向量化等。在我们的日常开发中，我们经常会遇到相关的概念，即token-标记、tokenize--标记化以及tokenizer--标记解析器。Tokenizer类允许通过将每个文本转换为整数序列（每个整数是字典中标记的索引）或转换成矢量（其中每个标记的系数可以是二进制的）的矢量化语料库，基于单词数 ，基于TF-IDF等等。形如如下使

einsum以一种优雅的方式，表示各种矩阵运算，好处在于你不需要去记和使用计算框架中（TensorFlow|PyTorch|Numpy）点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名。从某种程度上解决引入不必要的张量变形或转置运算，以及可以省略的中间张量的现象。不仅如此，einsum有时可以编译到高性能代码，事实上，PyTorch最近引入的能够自动生成GPU代码并为特定输入尺寸自

在我们进行模型训练时，如果你只是想要让模型具有不错的性能，那么盲目地尝试网络架构足以达到目的。而在本文中， 我们将为你提供一套用于构建最先进深度学习模型的必备技术的快速指南，从而让模型由“具有不错的性能”上升到“性能卓越且满足我们的一些需要”。本文的叙述以及代码的编写时基于TensorFlow中Keras来进行表述的。

为了给出深度学习的定义并搞清楚深度学习与其他机器学习方法的区别，我们首先需要知道机器学习算法在做什么。我们有个大致的认识，给定包含预期结果的示例，机器学习将会发现执行一项数据处理任务的规则。