
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
头歌Spark SQL 自定义函数(Scala)
打开右侧代码文件窗口,在 Begin 至 End 区域补充代码,根据下列要求,完善程序。读取本地文件file:///data/bigfiles/test.txt,使用 Spark SQL 对文件的每一行按空格进行切割,切割后按顺序设置别名,分别是name,chinese,math,english。创建两个自定义函数,将 name 字段中的小写全部转为大写,将 chinese,math,englis
头歌Spark算子综合案例 - Scala篇
文章摘要: 本文包含两个Spark编程任务解决方案。第一个任务是WordCount词频统计,要求对文本文件中的单词进行计数并按出现次数降序排序。示例代码展示了完整的Spark处理流程,包括读取文件、分割单词、计数和排序。第二个任务是好友推荐系统,需要统计间接好友关系出现的次数。解决方案通过双重循环生成好友关系对,使用hashcode排序保证关系对的唯一性,最终过滤并输出间接好友统计结果。两个任务都
到底了







