logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

头歌Spark SQL 自定义函数(Scala)

打开右侧代码文件窗口,在 Begin 至 End 区域补充代码,根据下列要求,完善程序。读取本地文件file:///data/bigfiles/test.txt,使用 Spark SQL 对文件的每一行按空格进行切割,切割后按顺序设置别名,分别是name,chinese,math,english。创建两个自定义函数,将 name 字段中的小写全部转为大写,将 chinese,math,englis

#spark#sql#大数据
头歌Spark算子综合案例 - Scala篇

文章摘要: 本文包含两个Spark编程任务解决方案。第一个任务是WordCount词频统计,要求对文本文件中的单词进行计数并按出现次数降序排序。示例代码展示了完整的Spark处理流程,包括读取文件、分割单词、计数和排序。第二个任务是好友推荐系统,需要统计间接好友关系出现的次数。解决方案通过双重循环生成好友关系对,使用hashcode排序保证关系对的唯一性,最终过滤并输出间接好友统计结果。两个任务都

#spark#scala#大数据
到底了