1. DIEN的由来其实，之前我们讨论的所有模型都是基于用户的过往历史进行物品的推荐，但是这个想法往往缺少了一个很重要的维度去模拟我们日常挑选商品的行为，那就是时间序列信息。为什么说时间序列信息对推荐来说是有价值的呢？一个典型的电商用户的现象可以说明这一点，我们在日常消费，或者日常逛淘宝的时候，其实发现自己的兴趣迁移是非常快的，例如用户在挑选一双篮球鞋的时候，这位用户上周的行为序列都会集中在篮球鞋

1. NerualCF背景：协同过滤的矩阵分解，我们用隐变量去逼近了，如果从深度学习的角度去理解这个做法，就是下面这张图了，矩阵分解层的用户隐向量和物品隐向量完全可以看作一种Embedding的方法，最终的打分层就是两个隐向量进行内积操作后得到的value。如果我们用这个方法去进行训练/拟合，我们会发现模型往往是欠拟合的状态的，因为这个模型太简单了。所以我们要引出一个有表达能力的模型出来。于是我们

1. Transformertransformer有很多种形式，Transformer，Universal Transformer，Transformer XL，GPT，BERT，ERNIE，XLNet，MT-DNN。一下子全讲了那我估计人没了，决定还是学网络，用到一个就填一个坑，今天先说一下Transformer。Transformer是一种新的、基于attention机制来实现的特征提取器，可

1. 基于用户的协同过滤首先就是建立共现矩阵，行是M个样本，列是N个物品，第M行N列代表这个M用户是否对这个N物品感兴趣，感兴趣就点赞，赋值1，没有点赞赋值0然后预测的第一步就是找到与某一个用户最相似的前n个用户预测的第二步就是综合这些相似用户对某一个物品的评价，得出我们要预测用户对这个物品的评价所以这里比较重要的就是怎么计算用户的相似度。其实就是把这些用户点赞的地方是不是大致都一样的。有1.余弦

考完期末了，final week真的很折磨人，我发现我把书全看了也没我同学光看ppt懂的多，巨多知识点，计算过程在ppt上，我都miss掉了，很气人。还有Tobias，这老师我真的得骂一骂才爽，搞一堆幺蛾子出来，教的课就完全讲不清楚，活该评分低，活该sorry。真的把头都给气歪了1.软硬饱和函数假设h（x）是一个激活函数。1. 饱和当我们的x趋近于正无穷，h（x）'趋近于0，那么我们称之为右饱和。

逻辑回归别看简单，但是里面在面试里面考察的内容还是很多的。尤其在推荐算法领域，GBDT+LR就是在前几年还相当流行的一个推推荐算法手段。在这篇文章之前，已经写过一些关于logistics Regression的补充了。问题1:逻辑回归相比于线性回归，有何异同首先，逻辑回归是处理分类问题，线性回归是处理回归问题。这是两者最最本质的区别。逻辑回归是给定自变量和超参数后，得到因变量的期望，基于期望来处理

第四章:存储器1.存储器分类有很多分类方式: 例如按存储介质, 按半导体等等.1.1以存储方式来分类.(1)随机存储器(RAM):存储器的任何一个存储单元的内容都可以随意存取, 而且存储时间与存储单元的物理地址无关. then RAM又分为静态RAM和动态RAM. (2)只读存储器(ROM): 只能对存储器的内容读出, 不能重写存储器. ROM一旦存储原始信息, 无论在什么时候都不能对其改写

**第五层:运输层**概述: (1)真正数据通信的意思其实是: 在主机的进程中, 由A主机的进程与B主机的进程进行数据交换的 过程而不是主机之间的数据交换. 很显然, 将一个通信过程分为这么多层, 是为了让底层给高层服务, 并将每一层的任务分配好. 更重要的是, 我们知道 一个主机当中有很多个进程同时在通信, 但是我们又只有一个运输层, 所以很明显, 运输层具有”复用”和”分用”功能, “复用”指

这一节看的时间跨度比较大，先写着，后面再整理HMM的概率图模型：其中，白圈代表的是隐变量，带阴影的是观测变量，然后t就是时间次数，我在这里就理解为更新次数了。1. 基本信息HMM模型最重要的三个东西：一个模型（包含：一个，表示初始的概率分布；一个A，状态转移矩阵；一个B，发射矩阵。）两个假设（1.齐次马尔可夫假设；2.观察独立假设）三个问题（1.evaluation问题；2.Learning问题；

1. 决策树决策树可以用于分类和回归的应用里面，这里讨论的决策树是一个二叉树的形式，我们可以用伪代码的方式去表达出来：决策树就是一个 if-then 的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。利用训练数据，根据损失函数最小化的原则建立决策树模型，其中包括：特征选择，决策树的生成，决策树的剪枝三个步骤。下面讨论的都是分类决策树，除了CART树会讨论到回归树1.1.1 决策树模型定义