文章目录任务说明数据处理步骤文本分类思路具体代码实现以及讲解通用部分：数据读取+预处理+类别编码1.字段读取2.预处理：拼接+整理格式扩展知识3.类别编码思路1思路2任务说明学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；学习内容：使用论文标题完成类别分类；学习成果：学会文本分类的基本方法、TF-IDF等；数据处理步骤在原始arxiv论文中论文都有对应的类别，而论文类别

文章目录论文数据统计1.1 任务说明1.2 数据集介绍1.3 arxiv论文类别介绍1.4 具体代码实现以及讲解论文数据统计1.1 任务说明任务主题：论文数量统计，即统计2019年全年计算机各个方向论文数量；任务内容：赛题的理解、使用 Pandas 读取数据并进行统计；任务成果：学习 Pandas 的基础操作；可参考的学习资料：开源组织Datawhale joyful-pandas项目1.2 数据

文章目录缺失数据一、缺失值的统计和删除1. 缺失信息的统计2. 缺失信息的删除二、缺失值的填充和插值1. 利用fillna进行填充2. 插值函数三、Nullable类型1. 缺失记号及其缺陷2. Nullable类型的性质3. 缺失数据的计算和分组四、练习(待完成)Ex1：缺失值与类别的相关性检验Ex2：用回归模型解决分类问题缺失数据在数据处理过程种我们经常会遇到缺失数据如NaN或None这样的值