文章目录Sparrow Recsys技术架构图数据和模型部分线上服务部分前端展示相似似电影推荐的结果和初步分析Sparrow Recsys技术架构图数据和模型部分选用 Item2Vec、Deep Walk等不同的 Embedding 方法，来生成物品Embedding向量。考虑到大数据条件下，数据处理与训练的一致性，在Sparrow Recsys中，我们会采用 Spark 进行数据处理，同时选择S

文章目录服务器环境实验步骤Master2节点部署LB1,2负载均衡部署Node节点修改实验测试在LB1上查看nginx的K8S日志创建测试pod在Node节点上测试nginx服务器环境角色IPmaster1192.168.18.10master2192.168.18.40node1192.168.18.20node2192.168.18.30...

逻辑回归（LR,Logistic Regression）是一种传统机器学习分类模型，也是一种比较重要的非线性回归模型，其本质上是在线性回归模型的基础上，加了一个Sigmoid函数（也就是非线性映射），由于其简单、高效、易于并行计算的特点，在工业界受到了广泛的应用。虽然说逻辑回归可以实现回归预测，但是在推荐算法中，我们都将其看作是线性模型并把它应用在分类任务中。使用LR模型主要是用于分类任务，通常情

我们可以把召回模型的结构分为三层。输入层：输入层总共有四种特征。用户看过视频的 Embedding（embedded video watches）用户搜索的关键词的 Embedding 向量（embedded search tokens）用户所在的地理位置的特征（geographic embedding）适用于冷启动用户基本特征（example age, gender）

协同过滤是个比较直观且解释性较强的一类模型算法，但是没有较强的泛化能力，也就是两两物品的相似性无法推广到其他商品相似度计算中，这样就会存在一个很严重的问题，就是对于近期具有头部热门商品，容易跟大量物品产生相似性，而尾部的稀疏向量就无法与其他物品产生相似性计算而减少对其的推荐。总结一下来说，推荐结果头部效应比较明显，但处理稀疏向量能力弱。对于解决此类问题，我们可以引用矩阵分解技术来增强模型的泛化能力

文章目录内置函数内置IO函数getline与next的区别内置数值函数内置函数内置IO函数getline函数可以让awk立刻读取下一行数据（读取下一条记录并复制给$0，重新设置NF、NR、FNR）。next函数可以停止处理当前的输入记录，立刻读取下一条记录，并且返回给awk程序的第一个模式匹配重新处理数据。getline与next的区别getline函数仅仅读取下一条数据，不会影响后续的awk指令

文章目录强化学习的基本概念强化学习推荐系统框架强化学习推荐模型的特点深度强化学习推荐模型中的DQNDRN的学习过程DRN竞争梯度下降算法强化学习的基本概念强化学习的基本概念就是一个智能体通过与环境进行交互，不断学习强化自己的智力，来指导自己的下一步行动，以取得最大化的预期利益。强化学习框架的六大要素智能体（Agent）：强化学习的主体也就是作出决定的“大脑”；环境（Environment）：智能体

文章目录注意力机制深度兴趣网络DIN兴趣进化序列模型DIEN注意力机制注意力机制来源于人类天生的“选择性注意”的习惯，我们使用注意力机制就是要让机器也有用和人类一样的选择性注意的习惯。注意力机制对我们构建推荐模型的价值非常大，比如在构建新闻类推荐模型模型，根据用户已经看过的新闻做推荐。那我们在分析用户已浏览新闻的时候，需要根据用户的注意力不同给予不同的权重。因为用户很可能都没有注意到正文最后的几段

文章目录注意力机制深度兴趣网络DIN兴趣进化序列模型DIEN注意力机制注意力机制来源于人类天生的“选择性注意”的习惯，我们使用注意力机制就是要让机器也有用和人类一样的选择性注意的习惯。注意力机制对我们构建推荐模型的价值非常大，比如在构建新闻类推荐模型模型，根据用户已经看过的新闻做推荐。那我们在分析用户已浏览新闻的时候，需要根据用户的注意力不同给予不同的权重。因为用户很可能都没有注意到正文最后的几段

文章目录深度学习模型需要加强处理特征交叉的能力传统的机器学习模型FM深度学习模型DeepFM特征交叉新方法：元素积操作DeepFM的TensorFlow实现深度学习模型需要加强处理特征交叉的能力传统的Embedding MLP和Wide&Deep模型都没有针对性的处理特征交叉问题。虽然MLP有拟合任意函数的能力，但这是建立在MLP有任意多层网络，以及任意多个神经元的前提下的。因为在训练资源