logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Spark 的Shuffle原理及调优

在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Map阶段通过shuffle读取数据并输出到对应的Reduce,而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中,往往伴随着大量的磁盘和网络I/O。所以,Hadoop中的shuffle性能的高低也会直接决定了整个程序的性能高低。具体Shuffle过程详解,如下:1MapTask收集我们的ma

文章图片
#spark#大数据#分布式
Hive日期格式转换详解(包含13位时间戳转毫秒时间)

固定日期转换成时间戳select unix_timestamp('2016-08-16','yyyy-MM-dd') --1471276800select unix_timestamp('20160816','yyyyMMdd') --1471276800select unix_timestamp('2016-08-16T10:02:41Z', "yyyy-MM-dd'T'HH:mm:ss'Z'"

文章图片
#hive#大数据
Java常见JDK8日期时间API的概述和实操

前言在本篇文章中,作者会向读者演示以下Java中的日期时间API的使用:java.util.Date类java.text.SimpleDateFormat类java.util.Calendar(日历)类java.time(LocalDate、LocalTime、LocalDateTime)java.time.format.DateTimeFormatter 类其他API说明:1、 java.u..

文章图片
#java#ide
到底了