Python中比较常见的并发方式主要有两种：多线程和多进程。多线程即在一个进程中启动多个线程执行任务。一般来说使用多线程可以达到并行的目的，但由于Python中使用了全局解释锁GIL的概念，导致Python中的多线程并不是并行执行，而是“交替执行”。类似于下图。所以Python中的多线程适合IO密集型任务，而不适合计算密集型任务。Python提供两组多线程接口，一是thread模块_thread，

transformer和LSTM最大的区别就是LSTM的训练是迭代的，无法并行训练，LSTM单元计算完T时刻信息后，才会处理T+1时刻的信息，T +1时刻的计算依赖 T-时刻的隐层计算结果。而transformer的训练是并行了，就是所有字是全部同时训练的，这样就大大加快了计算效率，transformer使用了位置嵌入（positional encoding）来理解语言的顺序，使用自注意力机制和全

GPT-2继续沿用了原来在GPT中使用的单向 Transformer 模型，尽可能利用单向Transformer的优势，做一些BERT使用的双向Transformer所做不到的事。那就是通过上文生成下文文本。​GPT-2的目标是为了训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络机构进行过多的结构创新和设计，只是使用了更大的数据集和更大的网络参数。

在自然语言处理中，面临的首要问题是如何让模型认识我们的文本信息，比如向模型中输入‘我爱北京天安门’，那模型是如何认识文本的？如何表示一个词？词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。具体来讲就是将词映

Modelscope（魔搭社区）是阿里达摩院的一款开源模型平台，里面提供了很多的热门模型供使用体验，其中的模型文件可以通过git clone 快速下载。并且为模型提供了Notebook的快速开发体验，使用阿里云服务，不需要额外部署机器进行模型的运行调试，即可自动在阿里云进行实例创建。

集成学习的基本思想是结合多个学习器组合成一个性能更好的学习器。这类方法会训练多个弱学习器（基学习器）并将它们输出的结果以某种策略结合起来组成一个强学习器。

命名实体识别(NER)是自然语言处理的基础任务，处于工程性任务的上游，很多的下游任务依赖于命名实体识别的效果，所以命名实体识别也是自然语言处理中非常重要的一环。命名实体识别的任务非常简单，给出一段文本，识别出文本中的人名、机构名称、歌曲名称、专辑名称、地点名称等名词（或者称之为实体）

总结起来，LSTM能缓解梯度消失，其实主要是以下两点的结果：1.cell状态的加法更新策略使得梯度传递更恰当，使得梯度更新有可能大于1。2.门控单元可以决定遗忘多少梯度，他们可以在不同的时刻取不同的值。这些值都是通过隐层状态和输入的数据学习到的。

信息增益可以很好的度量特征的信息量，但在某些情况下存在一些弊端。对可取值数目较多的属性有所偏好。因为信息增益反映的是给定一个条件以后不确定性减少的程度，必然是分得越细的数据集确定性更高，也就是条件熵越小，信息增益越大。信息增益偏向取值较多的特征。

根据上图的正向传播流程，可以把前向传播的计算公式列出来，为了简便运算，公式中只涉及了w1、w2、b三个变量。其中y为已知的真实值，a为预测值，如果预测值越接近真实值，那么对应损失的函数将越接近 0。逻辑回归的过程就是不断学习、不断调整w1、w2、b三个变量，使得损失函数的值尽可能的接近0，使得预测值尽可能接近真实值。现在的计算目标已经变为：不断的调整w1、w2、b三个变量使得损失函数尽可能的小。将