logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark和hadoop的区别与联系

实时数据处理(如 Spark Streaming)、交互式查询(如 Spark SQL)、机器学习(MLlib)、图计算(GraphX)等多场景。组合使用:实际场景中常采用“Hadoop存储数据 + Spark处理数据”的架构,充分利用两者的优势,例如在HDFS上存储原始数据,通过Spark进行实时分析和复杂计算。总之,Hadoop是大数据领域的“地基”,而Spark是构建在其上的“多功能工具”,

#spark#hadoop#大数据
Spark,配置hadoop集群1

和之前的配置一样,我们需要把这个更新之后的yarn-site.xml文件同步到其他的机器。在hadoop的安装目录下,打开mapred-site.xml,并在该文件里面增加如下两条配置。进入到我们安装yarn的主机,通过命令来关闭掉yarn和historyServer,然后再重启。请注意:你在配置的时候指定哪个节点是历史服务器,就在哪里启动,请不要搞错了。-- 历史服务器web端地址 -->--

#spark#hadoop#大数据
Scala文件读写——成绩分析

val avg =String.format("%.1f",s.avg)//只保留一位有效数字。val avg =String.format("%.1f",s.avg)//只保留一位有效数字。val avg =String.format("%.1f",s.avg)//只保留一位有效数字。val avg =String.format("%.1f",s.avg)//只保留一位有效数字。val avg

文章图片
#scala#开发语言#后端
到底了