爬虫—>使用selenium来实现QQ空间的自动登录#导入selenium包from selenium import webdriverfrom time import sleep#实例化一个对象bre = webdriver.Chrome('./chromedriver.exe')bre.get('https://qzone.qq.com/')#切换作用域bre.switch_to_fra

MapReduce---网约车撤销订单数据清洗数据及需求解析数据需求及解析代码实现自定义数据类型Map阶段Reduce阶段Driver阶段数据及需求解析数据数据一示例shouyue,430100,B190306162112070000,20190306162112,20190306162223,1,1,用户取消companyid,address,orderid,ordertime,cancelti

使用MapReduce来实现数据清洗需求删除含有空值的数据删除重复的数据我们假设价格在1000-3500之间为合理值，去除价格异常的数据节省>价格为异常，去除节省异常值酒店只保留名称，其他的多余信息删除...

MapReduce---招聘数据清洗数据及需求分析数据样式需求及分析代码实现阶段自定义的对象Map阶段Reduce阶段Driver阶段数据及需求分析数据样式json类型数据字段分析：从左到右分别是id编号公司名称学历要求工作类型工作名称薪资发布时间截止时间城市编码公司规模福利岗位职责地区工作经验城市数据城市id和城市名需求及分析处理工资，让其变成(最大-最小)/2使用城市名替换城市id每一个值都不

MapReduce--->实现简单的数据清洗题目和要求题目第一小题Map阶段Reduce阶段Driver阶段第二小题Map阶段Reduce阶段Driver阶段题目和要求题目2020年新冠肺炎对我国社会各方面影响巨大，大数据技术在抗击疫情过程中发挥了巨大作用，尤其在新增、确认等相关病例数据的采集及统计上应用颇广，下面有一份数据是今年1月20-4月29日的全国各省市及国外的疫情数据，请你按照要求

SparkSQL练习--出租车数据清洗数据分析数据读取准备工作读取文件数据清洗数据类型转换解决报错问题剪除异常数据完整代码显示数据分析数据集结构其中有几点需要注意hack_license 是出租车执照, 可以唯一标识一辆出租车pickup_datetime 和 dropoff_datetime 分别是上车时间和下车时间, 通过这个时间, 可以获知行车时间pickup_longitude 和 dro

MapReduce---天气数据清洗数据及需求数据需求及实现代码实现自定义的类Mapper阶段自定义分组Reduce阶段Driver阶段数据及需求数据数据一字段解释:年,月,日,小时,温度，湿度，气压，风向，风速，天气情况，1h降雨量，6h降雨量数据二0,cloudless1,cumulus2,cumulonimbus3,stratocumulus4,stratus5,nimbostratus6,

在安装hive进行初始化是出现下列错误Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path解决方案先进入hive主目录下的conf目录，找到hive-env.sh文件，如果没有则使用cp hive-env.sh.template hive-e

Ubuntu下的hadoop伪分布式安装JDK的安装配置文件的修改启动与测试JDK的安装解压至home目录:tar -zxvf jdk-8u161-linux-x64.tar.gz -C /home/重命名:mv jdk1.8.0_161/ java配置环境变量:vi /etc/profileexport JAVA_HOME=/home/javaexport PATH=$JAVA_HOME/bin

request.getSession().getAttribute 获取不到值,获取到的是null命名已经设置了session值，却一直找不到，为空request.getSession().setAttribute("VerifyCode", code);经过仔细的查找发现是跨域问题有时候用的是本地localhost有时用的是127.0.0.1方法一：全改成一样的域名方法二：在要查找时加上resp