rapidminer处理缺失数据、约简数据、处理不一致的数据、约简属性处理缺失数据：移除观察项、集中趋势算数度量代替缺失值等ReplaceMissingValue约简数据：屏蔽不需要的数据处理不一致的属性：与期望值不同属性约简：p维度数据–>数据集x’，维度小于p，消除冗余和不相关的数据。

利用python数据结构（list, dict, set等）完成简单的文本分析任务。弹幕是现下视频网站，尤其是短视频网站提供的关键功能之一。以B站为例，其有着特殊的弹幕文化，且在视频的不同部分往往会有不同话题的弹幕：比如在视频开头会出 现“来啦”“x小时前”“第一!”;在up主暗示一键三连之后常常会出现“下次一定”或者“你币有 了”;和up主建立默契之后，观众可以判断视频是否有恰饭，往往在广告之前

情绪理解是文本处理里最常见任务之一。现提供一个五类情绪字典(由情绪词组成，5个文件，人工标注)，实现一个情绪分析工具，并利用该工具对10000条新浪微博进行测试和分析(一行一条微博)。微博数据见课程中心weibo.txt，字典数据见公开数据中的emotion lexicon请按要求用函数进行功能封装，并在main中调用测试，鼓励尝试不同方式的可视化。1. 实现一个函数，对微博数据进行清洗，去除噪声