本文介绍了强化学习的基本概念和关键术语。主要内容包括：1）随机变量及其概率分布；2）专业术语如状态(s)、动作(a)、策略(π)、奖励(R)和状态转移(p)；3）强化学习的两个随机性来源：策略函数和状态转移；4）回报(Ut)和折扣回报的概念，强调未来奖励的价值递减。文章通过游戏示例(如马里奥)阐述了agent与环境的交互过程，包括观测状态、执行动作、获得奖励和状态转移等环节。这些基础概念为理解强化

本节将介绍LeNet，它是最早发布的卷积神经网络之一，因其在计算机视觉任务中的高效性能而受到广泛关注。 这个模型是由AT&T贝尔实验室的研究员Yann LeCun在1989年提出的（并以其命名），目的是识别图像 (LeCun et al., 1998)中的手写数字。 当时，Yann LeCun发表了第一篇通过反向传播成功训练卷积神经网络的研究，这项工作代表了十多年来神经网络研究开发的成果。

上节课介绍了用户的 LastN 序列特征。这节课介绍 DIN 模型，它是对 LastN 序列建模的一种方法，效果优于简单的平均。DIN 的本质是注意力机制（attention）。

对于序列数据处理问题，我们在 8.1节中 评估了所需的统计工具和预测时面临的挑战。 这样的数据存在许多种形式，文本是最常见例子之一。 例如，一篇文章可以被简单地看作一串单词序列，甚至是一串字符序列。

前面我们介绍了 n 元语法，也就是单词 xtx_txt​ 在时间步 t 的条件概率仅取决于前面的 n-1 个单词。如果我们想将之前的单词都考虑进去会使得模型参数的数量呈指数增长我们考虑隐变量模型：其中 ht−1h_{t-1}ht−1​ 是隐状态，也叫隐藏变量，他存储到了时间步 t−1t-1t−1 的序列信息，我们可以根据当前输入 xtx_txt​ 和先前隐状态 ht−1h_{t-1}ht−1​ 来

训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。 本节将介绍批量规范化（batch normalization） (Ioffe and Szegedy, 2015)，这是一种流行且有效的技术，可持续加速深层网络的收敛速度。 再结合在 7.6节中将介绍的残差块，批量规范化使得研究人员能够训练100层以上的网络。

在LeNet提出后，卷积神经网络在计算机视觉和机器学习领域中很有名气。但卷积神经网络并没有主导这些领域。这是因为虽然LeNet在小数据集上取得了很好的效果，但是在更大、更真实的数据集上训练卷积神经网络的性能和可行性还有待研究。事实上，在上世纪90年代初到2012年之间的大部分时间里，神经网络往往被其他机器学习方法超越，如支持向量机（support vector machines）。

本文介绍了强化学习的基本概念和关键术语。主要内容包括：1）随机变量及其概率分布；2）专业术语如状态(s)、动作(a)、策略(π)、奖励(R)和状态转移(p)；3）强化学习的两个随机性来源：策略函数和状态转移；4）回报(Ut)和折扣回报的概念，强调未来奖励的价值递减。文章通过游戏示例(如马里奥)阐述了agent与环境的交互过程，包括观测状态、执行动作、获得奖励和状态转移等环节。这些基础概念为理解强化

决策树是一种非参数监督学习方法，通过树状结构进行决策，适用于分类和回归问题。其核心是通过优化不纯度指标（如基尼系数或信息熵）来选择最佳节点和分支。sklearn中的DecisionTreeClassifier提供了criterion、random_state、splitter等参数来控制模型行为，其中剪枝参数（max_depth、min_samples_leaf等）能有效防止过拟合。实际应用中，决

∣∣a∣∣表示向量 a 的范数，课上没有讲范数的概念其中第一条为求向量的二范数第四条表示如果a为标量，那么向量∣∣a⋅b∣∣的长度等于∣a∣⋅∣∣b∣∣的长度。