logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

spark—算子详解

介绍算子和闭包检测功能

文章图片
#spark#scala#大数据
spark—SQL实战案例

对sparkSQL的学习进行案例练习

文章图片
#spark#sql#大数据
spark—累加器和广播变量

累加器和广播变量的基本介绍和使用

文章图片
#spark#scala#大数据
spark笔记(一)之RDD任务划分

一.Driver & ExecuterDriver:创建spark上下文对象的应用程序称之为Driver,或者驱动器;只要创建spark上下文对象的类,可以称之为Driver类* 功能:发送任务给Executor进行计算* 总结:除Executoru算子计算功能之外的代码都属于DriverExecutor:接收认为并执行任务,称之为执行器(也就是说把计算的任务...

#spark
到底了