协同过滤算法的基本原理就是"协同大家的反馈、评价和意见一起对海量的信息进行过滤，从中筛选出用户可能感兴趣的信息"。具体执行步骤如下：根据用户行为创建共现矩阵，行代表每个用户对物品的评分或是否观看浏览等行为数据，列代表每个物品在不同用户中的评分情况或是浏览情况。通过共现矩阵计算用户/物品相似度。相似度最常见的是余弦相似度，除此之外还有欧式距离、皮尔逊相关系数。根据相似用户喜欢的物品，或是目标用户浏览

今天我们来讲讲召回层。在讲召回层前，先了解下推荐系统的整体组成部分。一个工业级推荐系统的技术架构按照数据部分和模型部分展开，其中“数据和信息”部分逐渐发展为推荐系统中融合了数据离线批处理、实时流处理的数据流框架；“算法和模型”部分则进一步细化为推荐系统中，集训练（Training）、评估（Evaluation）、部署（Deployment）、线上推断（Online Inference）为一体的模型

这篇文章我们来讲讲推荐系统中必不可少的特征工程。用户行为数据用户行为在推荐系统中一般分为显性反馈行为（Explicit Feedback）和隐性反馈行为（Implicit Feedback）两种。​能够反映用户行为特点的隐性反馈是目前特征挖掘的重点。用户关系数据用户与用户之间可以通过“关注”“好友关系”等连接建立“强关系”，也可以通过“互相点赞”“同处一个社区”，甚至“同看一部电影”建立“弱关系”

上一章节使用深度学习来完成文本表示，通过fastText模型进行文本分类。这一章节采用Word2Vec做向量表示，通过TextCNN以及TextRNN的深度学习模型来做文本分类。1. Word2Vec使用gensim训练word2vec设置随机种子。import loggingimport randomimport numpy as npimport torchlogging.basicConfi

上一章节主要介绍了赛题内容和解决方案的思路。本章节会对原始样本集读取数据并对文本作简单的分析。1. 加载包import reimport pandas as pdimport matplotlib.pyplot as pltfrom collections import Counter2. 数据读取通过read_csv方法读取.csv格式的数据。train_df = pd.read_csv('..

一、复制PG数据库中的表，保存到当前服务器上1. 用root用户su - root密码，然后su - gpadmin2. 进入pg数据库psql 数据库名称3. 拷贝COPY (SELECT * FROM 表名 limit 10000) TO 地址 HEADER CSV;4. 退出按Ctrl+D退出pg数据库二、将表拷贝到另一台服务器的数据库上1. 拷贝到另一台服务器上数据将表放在/tmp中psq

上一章节对新闻句子长度、类别和字符进行了可视化分析。这一章节我们通过机器学习做文本分类。1. 词向量源数据给的是文本是匿名话字符，不能直接放入模型中训练，需要对每个字符进行数学上的表征，也就是将字符映射为词向量。什么是词向量呢？词向量就是将词转化为向量形式的表示。词向量主要有两种，一种是传统机器学习中的one-hot编码方式，一种是基于深度学习的词嵌入技术。下面我们先学习下传统机器学习的词向量表示

本章节从推荐系统模型搭建基础和DeepCrossing原理讲解及实操两方面展开。一、推荐系统模型搭建基础1. Keras搭建模型keras搭建模型主要有两种模式，一种是Sequential API，另外一种是Functional API。前者主要是通过层的有序堆叠形成一个模型，在大多数情况下可以快速的搭建一个模型，但是搭建的模型更适合简单的堆叠模型，对于复杂模型(多输入、多输出、共享层)的搭建就比

一、复制PG数据库中的表，保存到当前服务器上1. 用root用户su - root密码，然后su - gpadmin2. 进入pg数据库psql 数据库名称3. 拷贝COPY (SELECT * FROM 表名 limit 10000) TO 地址 HEADER CSV;4. 退出按Ctrl+D退出pg数据库二、将表拷贝到另一台服务器的数据库上1. 拷贝到另一台服务器上数据将表放在/tmp中psq

本章节从推荐系统模型搭建基础和DeepCrossing原理讲解及实操两方面展开。一、推荐系统模型搭建基础1. Keras搭建模型keras搭建模型主要有两种模式，一种是Sequential API，另外一种是Functional API。前者主要是通过层的有序堆叠形成一个模型，在大多数情况下可以快速的搭建一个模型，但是搭建的模型更适合简单的堆叠模型，对于复杂模型(多输入、多输出、共享层)的搭建就比