优化算法使我们能够继续更新模型参数，并使损失函数的值最小化。一旦我们有了损失函数，我们就可以使用优化算法来尝试最小化损失。在优化中，损失函数通常被称为优化问题的目标函数。优化算法的目标函数通常是基于训练数据集的损失函数，因此优化的目标是减少训练误差。而深度学习的目标是减少泛化误差。简单地说，如果对于任何a, b ∈ X，连接a和b的线段也位于X中，则向量空间中的一个集合X是凸的。给定一个凸集X，如

动手学深度学习v2

而GPT是任务无关的，但是从左到右编码上下文。BERTEncoder的前向推断给出了输入文本的每个词元和插入的特殊标记“”及“”的BERT表示。当输入为文本对时，BERT输入序列是“”、第一个文本序列的标记、“”、第二个文本序列标记、以及“”的连结。当输入为单个文本时，BERT输入序列是特殊类别词元“”、文本序列的标记、以及特殊分隔词元“”的连结。• 对于上下文敏感的词表示，如ELMo和GPT，词

吴恩达佬团队在Coursera新开设的机器学习课程