首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文件的过程，会消耗宝贵的内存资源与磁盘 I/O，最后，Shuffle Read 阶段的数据拉取会引入大

一、NTP的简介NTP全称网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。它可以使计算机对其服务器或时钟源（如石英钟，GPS等等）进行时间同步，它可以提供高精准度的时间校正，而且可以使用加密确认的方式来防止病毒的协议攻击。二、NPT应用场景NTP通常用于同步网络中有各个计算机时间的一致性，需要保证所有网络设备的时间高度一致，...

Java序列化是指把Java对象转换为字节序列的过程，Java反序列化是指把字节序列恢复为Java对象的过程主要有两种用途： 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 在网络上传送对象的字节序列。不管什么用途我们都希望占用空间小，传输效率高，读写快。方式有多中，效率不同，常见的方式有jdk的ObjectOutputStream、json类库、javax的xml、goog...

一、gitlab介绍前边介绍过CentOS7下Gitlab的安装，下边就要说说Gitlab的使用GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。GitLab由乌克兰程序员DmitriyZaporozhets和ValerySizov开发，它由Ruby写成。后来，一些部分用Go语言重写，现今并在国内外大中型互联网公司广泛使用。...

（1）Local多用于本地测试，如在eclipse，idea中写程序测试等。（2）StandaloneStandalone是Spark自带的一个资源调度框架，它支持完全分布式。（3）YarnHadoop生态圈里面的一个资源调度框架，Spark是可以基于Yarn来计算的，最流行。（4） Mesos一种资源调度框架，支持docker，前景最好

一、git pull与git fetch区别1、两者的区别两者都是更新远程仓库代码到本地git fetch相当于是从远程获取最新版本到本地，不会自动merge。只是将远程仓库最新commitid记录更新到本地remote中对应的远程分支，而本地head不更新，仍然保持本地的commitid。git pull相当于是从远程获取最新版本代码并自动merge。只是将远程仓库最新...

最近常用到mysql的datetime类型的日期范围搜索，总结有以下几种方式可以，可以查询精确到秒之间的记录。字符串日期可以直接和datetime类型之间比较，无需转换，Mysql会将字符串类型日期转换成长整型数字进行比较，当然你也可以转换为同一类型后再比较mysql日期与字符串转换函数字符串转日期：STR_TO_DATE('2019-07-25 00:00:33', '%Y-%m-%d ...

做单元测试时候，经常会mock一些方法，得到期望的返回值，这里记录一下常见的public、private、static方法，以及设计到的内部调用的方法。

最近常用到mysql的datetime类型的日期范围搜索，总结有以下几种方式可以，可以查询精确到秒之间的记录。字符串日期可以直接和datetime类型之间比较，无需转换，Mysql会将字符串类型日期转换成长整型数字进行比较，当然你也可以转换为同一类型后再比较mysql日期与字符串转换函数字符串转日期：STR_TO_DATE('2019-07-25 00:00:33', '%Y-%m-%d ...

mysql多个字段建立组合索引时候，字段顺序可以随意，但最好是遵循一定顺序的，如索引（a，b,c）与（b,a,c）肯定不一样的，顺序不一样索引的效果也不一样，所以要计算其先后顺序。如表mc_k12_wechat_user_info有如下字段1、计算组合索引建立的顺序1、常用的字段放在最前面现在要建立组合索引（phone_number，provice），phone_numb...