logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark操作 对json复杂和嵌套数据结构的操作

从Json取值-----get_json_object,to_json()将获取的数据转化为json格式,对嵌套结构的处理(样例类和炸裂函数使用来解决)。

文章图片
#spark#json#数据结构
hadoop学习

HDFS是google三大论文之一的GFS的开源实现,是一个高度容错性的系统,适合部署在廉价的机器上的,适合存储海量数据的分布式文件系统。在HDFS中,文件是分成以Block Size为大小的数据块存储的,每个Block默认大小为64M或128M(可调节),如果一个文件小于一个数据块的大小,并不会占用整个数据块存储空间。这些Block被复制为多个副本,被存放在不同的主机上,这也保证了HDFS的高容

文章图片
#hadoop#学习#大数据
到底了