logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

DCN (Deep & Cross Network)学习日记

DCN模型通过交叉网络显式建模特征交互,相比传统方法更具优势。摘要如下: DCN(Deep & Cross Network)创新性地引入交叉网络(Cross Network)显式建模特征交互,克服了DeepFM仅能隐式学习高阶特征的局限。其核心架构包含三部分:(1)Deep部分负责线性建模低阶特征;(2)Cross Network通过逐层特征交叉显式构建高阶特征;(3)Tower部分捕捉非

文章图片
#机器学习#推荐算法
AFM (Attentional Factorization Machine) 学习日记

文章摘要: AFM(Attentional Factorization Machine)是针对FM模型局限性提出的改进方案。核心创新在于引入注意力机制来解决FM对所有特征交互同等处理的问题。AFM通过注意力网络动态学习不同特征交互的重要性权重,计算公式为y = w₀ + Σᵢ wᵢxᵢ + Σᵢⱼ aᵢⱼ(vᵢ·vⱼ)xᵢxⱼ,其中aᵢⱼ是注意力权重。相比FM的固定权重交互,AFM能区分重要交互(

文章图片
#机器学习#推荐算法
xDeepFM 学习日记

xDeepFM模型通过引入CIN网络显式建模高阶特征交互,解决了DeepFM中高阶交互隐式不可解释的问题。CIN采用逐层特征压缩交互机制,在向量级别进行显式特征组合,同时保留可解释性。模型整合了CIN(显式高阶)、线性部分和DNN(隐式高阶)三大组件,相比DeepFM具有更强的特征交互建模能力。实验表明,xDeepFM在CTR预测等任务中性能优于DeepFM,特别是在需要显式高阶特征交互的场景下优

文章图片
#机器学习#推荐算法
FFM (Field-aware Factorization Machine) 学习日记

FFM(Field-aware Factorization Machine)通过为每个特征在不同域(Field)分配独立隐向量,解决了FM模型中同一特征在不同领域语义不同的问题。相比FM的单一隐向量,FFM为每个特征在每个域维护特定向量,交互时使用特征在对方域的向量表示。虽然FFM参数量增至n×f×k(n特征数,f域数,k向量维度),但能更精准建模跨域特征交互。PyTorch实现中,核心是计算特征

文章图片
#机器学习#算法
DeepFM 学习日记

本文介绍了DeepFM推荐系统模型,重点解析了其核心组件Embedding层的作用。首先概述了DeepFM的创新点:无需人工特征工程、端到端训练、兼顾高低阶特征交互。模型架构包含FM部分(处理二阶交互)和DNN部分(捕捉高阶非线性关系),共享Embedding层。文章深入讲解了Embedding层的三大作用:降维(将高维稀疏特征转为低维稠密向量)、稠密化(解决One-Hot编码稀疏性问题)和语义化

文章图片
#机器学习#深度学习
FM (Factorization Machines) 学习日记

因子分解机(FM)摘要 因子分解机(FM)是一种高效的特征交互建模方法,通过隐向量内积替代传统的特征组合参数,解决了高维稀疏数据下的二阶特征交互问题。FM的核心创新在于: 参数效率:将O(n²)的二阶交互参数降为O(nk),通过隐向量vᵢ和vⱼ的内积<vᵢ,vⱼ>表示特征i和j的交互强度 数学优化:将原始O(n²)的计算复杂度优化为O(nk),通过平方和公式重构计算过程 模型结构: 一

文章图片
#算法#机器学习
开源协议解读

开源协议选择指南:从宽松到严格,常用协议对比(MIT/Apache/BSD/MPL/LGPL/GPL)。MIT最宽松,允许商用、修改和闭源;Apache 2.0增加专利保护;GPL最严格,要求衍生项目必须开源。建议90%情况选MIT或Apache 2.0,企业项目推荐Apache 2.0,坚决反对闭源可选GPL。协议可修改但需贡献者同意,GitHub提供可视化选择器。

文章图片
#开源协议
逻辑回归学习笔记-梯度下降求解回归方程

本文介绍了使用梯度下降算法求解线性回归模型的数学推导和实现方法。主要内容包括: 问题设定:线性模型的假设函数和损失函数(均方误差)的定义,解释了损失函数中1/2m系数的数学意义。 梯度计算:详细推导了从标量形式到向量形式的梯度计算过程,最终得出梯度向量公式∇J(θ)=(1/m)Xᵀ(Xθ-y)。 参数更新规则:介绍了批量梯度下降的向量形式更新公式θ:=θ-α·(1/m)Xᵀ(Xθ-y)。 算法流程

#逻辑回归#机器学习#算法
推荐系统中的特征交互模型

推荐系统特征交互模型研究综述 摘要:本文系统梳理了推荐系统中特征交互建模的关键技术与进展。首先阐释了特征交互的概念及其在个性化推荐中的重要性,指出其能捕捉用户偏好的复杂组合效应。随后详细分析了10种主流特征交互模型,包括FM、DeepFM、FFM、xDeepFM等,比较了各模型的核心思想、创新点及适用场景。特别介绍了基于注意力机制、Transformer架构等前沿技术的新型交互模型。通过对比不同模

#推荐算法
到底了