上一章节主要介绍了赛题内容和解决方案的思路。本章节会对原始样本集读取数据并对文本作简单的分析。1. 加载包import reimport pandas as pdimport matplotlib.pyplot as pltfrom collections import Counter2. 数据读取通过read_csv方法读取.csv格式的数据。train_df = pd.read_csv('..

上一章节对新闻句子长度、类别和字符进行了可视化分析。这一章节我们通过机器学习做文本分类。1. 词向量源数据给的是文本是匿名话字符，不能直接放入模型中训练，需要对每个字符进行数学上的表征，也就是将字符映射为词向量。什么是词向量呢？词向量就是将词转化为向量形式的表示。词向量主要有两种，一种是传统机器学习中的one-hot编码方式，一种是基于深度学习的词嵌入技术。下面我们先学习下传统机器学习的词向量表示

上一章节采用Word2Vec做向量表示，通过TextCNN以及TextRNN的深度学习模型来做文本分类。这一章节采用bert微调，将最后一层的第一个token即[CLS]的隐藏向量作为句子的表示，然后输入到softmax层进行分类。import loggingimport randomimport numpy as npimport torchlogging.basicConfig(level=l

上一章节对新闻句子长度、类别和字符进行了可视化分析。这一章节我们通过机器学习做文本分类。1. 词向量源数据给的是文本是匿名话字符，不能直接放入模型中训练，需要对每个字符进行数学上的表征，也就是将字符映射为词向量。什么是词向量呢？词向量就是将词转化为向量形式的表示。词向量主要有两种，一种是传统机器学习中的one-hot编码方式，一种是基于深度学习的词嵌入技术。下面我们先学习下传统机器学习的词向量表示

本章节从推荐系统模型搭建基础和DeepCrossing原理讲解及实操两方面展开。一、推荐系统模型搭建基础1. Keras搭建模型keras搭建模型主要有两种模式，一种是Sequential API，另外一种是Functional API。前者主要是通过层的有序堆叠形成一个模型，在大多数情况下可以快速的搭建一个模型，但是搭建的模型更适合简单的堆叠模型，对于复杂模型(多输入、多输出、共享层)的搭建就比

基本操作1. 查看anaconda所有虚拟环境conda info -eresult:base*/home/xxx/anaconda3bert_torch/home/xxx/anaconda3/envs/bert_torchgraduate_development/home/xxx/anaconda3/envs/graduate_developmentprediction_of_graduatio

今天我们来讲讲召回层。在讲召回层前，先了解下推荐系统的整体组成部分。一个工业级推荐系统的技术架构按照数据部分和模型部分展开，其中“数据和信息”部分逐渐发展为推荐系统中融合了数据离线批处理、实时流处理的数据流框架；“算法和模型”部分则进一步细化为推荐系统中，集训练（Training）、评估（Evaluation）、部署（Deployment）、线上推断（Online Inference）为一体的模型

本章节从推荐系统模型搭建基础和DeepCrossing原理讲解及实操两方面展开。一、推荐系统模型搭建基础1. Keras搭建模型keras搭建模型主要有两种模式，一种是Sequential API，另外一种是Functional API。前者主要是通过层的有序堆叠形成一个模型，在大多数情况下可以快速的搭建一个模型，但是搭建的模型更适合简单的堆叠模型，对于复杂模型(多输入、多输出、共享层)的搭建就比

步骤：一、数据下载mysqldump -u [用户名] -h[主机] -P [端口号] -p['密码'] 数据库名称 表名> 保存路径如：mysqldump -u dev -h192.168.101.100 -P 3306 -p’123456’ datacenter_dev edu_employment > sql/edu_employment_record.sql二、数据迁移1. 连

本章节从推荐系统模型搭建基础和DeepCrossing原理讲解及实操两方面展开。一、推荐系统模型搭建基础1. Keras搭建模型keras搭建模型主要有两种模式，一种是Sequential API，另外一种是Functional API。前者主要是通过层的有序堆叠形成一个模型，在大多数情况下可以快速的搭建一个模型，但是搭建的模型更适合简单的堆叠模型，对于复杂模型(多输入、多输出、共享层)的搭建就比