这一节看的时间跨度比较大，先写着，后面再整理HMM的概率图模型：其中，白圈代表的是隐变量，带阴影的是观测变量，然后t就是时间次数，我在这里就理解为更新次数了。1. 基本信息HMM模型最重要的三个东西：一个模型（包含：一个，表示初始的概率分布；一个A，状态转移矩阵；一个B，发射矩阵。）两个假设（1.齐次马尔可夫假设；2.观察独立假设）三个问题（1.evaluation问题；2.Learning问题；

1. 决策树决策树可以用于分类和回归的应用里面，这里讨论的决策树是一个二叉树的形式，我们可以用伪代码的方式去表达出来：决策树就是一个 if-then 的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。利用训练数据，根据损失函数最小化的原则建立决策树模型，其中包括：特征选择，决策树的生成，决策树的剪枝三个步骤。下面讨论的都是分类决策树，除了CART树会讨论到回归树1.1.1 决策树模型定义

1. 基于用户的协同过滤首先就是建立共现矩阵，行是M个样本，列是N个物品，第M行N列代表这个M用户是否对这个N物品感兴趣，感兴趣就点赞，赋值1，没有点赞赋值0然后预测的第一步就是找到与某一个用户最相似的前n个用户预测的第二步就是综合这些相似用户对某一个物品的评价，得出我们要预测用户对这个物品的评价所以这里比较重要的就是怎么计算用户的相似度。其实就是把这些用户点赞的地方是不是大致都一样的。有1.余弦

从这里，书上就引出了什么是泛化能力，什么是记忆能力，由此来引出Wide & Deeo 模型，这个模型就是结合同时两个能力都有，然后后面再改进一下，把Wide改一下变成Cross & Deep模型。使得模型不仅能够快速处理并记忆大量的历史行为特征，并且具有强大的表达能力1. 泛化能力 和 记忆能力记忆能力被理解为模型直接学习并利用历史数据中物品和特征的“共现频率”的能力。 就像协同过

这篇文章不知道为什么被吞了....我又得重新写一下，方便以后自己复习写在前面：这篇文章觉得部分都是照搬这里，详细的描述可以直接看原文。本文只是将原文翻译成自己比较能理解的思路而已。1. XGBoost的原理XGBoost光从名字上我们就知道有boost的身影在里面了，它和AdaBoost的其中一个区别就是在合并模型的时候不需要加上一个权重系数，而是直接做加法运算模式。所以XGBoost也还是采用一

1. Transformertransformer有很多种形式，Transformer，Universal Transformer，Transformer XL，GPT，BERT，ERNIE，XLNet，MT-DNN。一下子全讲了那我估计人没了，决定还是学网络，用到一个就填一个坑，今天先说一下Transformer。Transformer是一种新的、基于attention机制来实现的特征提取器，可

感觉已经落下好多进度了，要马上赶上来才行。后面还有好多书没有看0 0这篇文章的两个模型都是来自于引入了attention机制而产生的，再NFM模型中，不同域的特征Embediing向量经过特征交叉池化层的交叉，将各个交叉特征向量进行了 sum_pooling 操作（这里后面会解释为嘛子叫这个），输入最后由多层神经网络组成的输出层，问题关键在于这个sum_pooling操作，相当于一视同仁地对待所有

1. DIEN的由来其实，之前我们讨论的所有模型都是基于用户的过往历史进行物品的推荐，但是这个想法往往缺少了一个很重要的维度去模拟我们日常挑选商品的行为，那就是时间序列信息。为什么说时间序列信息对推荐来说是有价值的呢？一个典型的电商用户的现象可以说明这一点，我们在日常消费，或者日常逛淘宝的时候，其实发现自己的兴趣迁移是非常快的，例如用户在挑选一双篮球鞋的时候，这位用户上周的行为序列都会集中在篮球鞋

1. DSIN的由来作者认为呀，之前的所有模型，很大程度上都忽略了推荐还有一个非常重要的属性，那就是序列。所以在DEIN这个模型里面，为了更好地利用用户的历史行为，就把序列模型引进了推荐系统，用兴趣提取层来学习哥哥行为之间的关系，为了更有针对性的广告和用户兴趣的关系，又在兴趣提取层后面加入了注意力机制，和兴趣进化层网络。这么想就已经很完美了我觉得，但是阿里的大佬们更加贴近了用户的实际情况，他们发现

1. 背景优化算法做的事就是在 模型表征空间中找到模型评估指标最好的模型。这里就引出了什么是模型的表征空间，以及什么是评估指标了。只有正确地应用表征空间以及评估指标，才可以更好地优化模型譬如SVM的模型表征空间就是线性分类模型，然后评估指标就是最大间隔逻辑回归的模型表征空间就是线性分类模型，然后评估指标就是交叉熵我自己理解模型表征空间就是表明这个模型要处理什么问题，评估指标就是比较出真实值和模型估