空格可以分为两类，一类为普通文本空格，另一类为html实体空格。普通文本空格介绍普通半角空格和普通全角空格。html实体空格介绍三种，分别为html实体不间断空格（ ）、html实体半角空格( )和html实体全角空格( )。

大规模预训练模型，带来了人工智能领域新的突破，由于其强大的通用性和卓越的迁移能力，掀起了预训练模型往大规模参数化发展的浪潮。但这些大规模的模型是在没有引入语言知识和世界知识的情况下对普通文本进行训练的。此外，大多数大型模型是以自回归的方式训练的。因此，这种传统的微调方法在解决下游语言理解任务时表现出相对较弱的性能。然而，现有的大规模预训练模型，主要依赖纯文本学习，缺乏大规模知识指导学习，模型能力存

对比学习有的paper中称之为自监督学习[1]，有的paper称之为无监督学习[2]，自监督学习是无监督学习的一种形式，现有的文献中没有正式的对两者进行区分定义，这两种称呼都可以用。其常见的主要思想是模型能够更加重新的学习到编码器的特征：尽可能的缩小相似样本的距离，拉大正负样本的距离，这里可以理解为让聚类的界限更加明显。自监督学习(Self-supervised learning)可以避免对数据集

在强化学习中，策略（Policy）是智能体在给定状态下选择动作的规则，通常记为，表示在状态下采取动作的概率。方法适合场景不适合场景On-Policy需要高稳定性、在线交互可行、策略更新频繁样本获取昂贵、无法存储历史数据Off-Policy样本稀缺、可离线训练、需高样本效率策略差异大导致估计偏差、训练不稳定%24s%24%24a%24。

工作时需要将模型转成onnx使用triton加载，记录将pytorch模型转成onnx的过程。

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。

总结起来，LSTM能缓解梯度消失，其实主要是以下两点的结果：1.cell状态的加法更新策略使得梯度传递更恰当，使得梯度更新有可能大于1。2.门控单元可以决定遗忘多少梯度，他们可以在不同的时刻取不同的值。这些值都是通过隐层状态和输入的数据学习到的。

在NLP中，对抗训练往往都是针对嵌入层（包括词嵌入，位置嵌入，segment嵌入等等）开展的，思想很简单，即针对嵌入层添加干扰，从而提高模型的鲁棒性和泛化能力，下面结合具体代码讲解一些NLP中常见对抗训练算法。

GRU（Gate Recurrent Unit）门控循环单元，是循环神经网络（RNN）的变种种，与LSTM类似通过门控单元解决RNN中不能长期记忆和反向传播中的梯度等问题。与LSTM相比，GRU内部的网络架构较为简单。

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，相比普通的RNN，LSTM能够在更长的序列中有更好的表现。LSTM区别于RNN地方，主要就在于它在算法中加入了一个判断信息有用与否的"处理器"，这个处理器作用的结构被称为cell。一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。