ALTER TABLE dev.dev_yhzz_pop_bill SET FILEFORMAT INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' SERDE 'org.apache.hado

昨天晚上突然收到Spark任务的告警异常，立即打开电脑查看原由，经过一番分析查找，问题得到解决，习惯记录一下一、直接问题现象Spark读取kafka超时， 重新连接依然超时，那就是肯定是kafka出问题了二、问题分析排查1、分析kafka日志查看其中一台kafka的broker日志，发现了如下错误查看另一台kafka日志也发现同样的错误，也不用再看其它了...

org.powermock.api.mockito.PowerMockito更强大，支持private和protected方法的mock。org.mockito.Mockito功能有限，不能mock 私有private、受保护的protected方法。利用PowerMockito来mock私有方法需要mock。

hive解析get_json_object语法：get_json_object(string json_string, string path)→ varcharpresto解析json_extract_scalar语法：json_extract_scalar(string json, string json_path) → varchar语法：json_extract(string json,

一、依赖配置1、maven pom.xml引入依赖<properties><rocketmq-client.version>4.5.2</rocketmq-client.version></properties><dependency><groupId>org.apache....

一、INCR命令介绍Redis Incr 命令将 key 中储存的数字值增一。如果 key 不存在，那么 key 的值会先被初始化为 0 ，然后再执行 INCR 操作。且将key的有效时间设置为长期有效。如果值包含错误的类型，或字符串类型的值不能表示为数字，那么返回一个错误。本操作的值限制在 64 位(bit)有符号数字表示之内。因为Redis没有专用的整数类型，所以在内存中是以字...

这种编译不通过问题，大致是两方面造成的：一方面可能是gcc的问题，一般是gcc缺少（链接不对）或者版本不对（过低或过高）。有可能是在装其他软件时候gcc被无意破坏过，或者系统是mini版的，相关配置不全等造成的。这时候如果可以，最好重装对应版本的gcc即可解决。另一方面可能是要安装的软件缺少相关依赖包，导致编译不通过。这时候要先安装缺少的依赖，全部依赖包或者依赖软件安装完后，执行conf...

首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文件的过程，会消耗宝贵的内存资源与磁盘 I/O，最后，Shuffle Read 阶段的数据拉取会引入大

一、NTP的简介NTP全称网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。它可以使计算机对其服务器或时钟源（如石英钟，GPS等等）进行时间同步，它可以提供高精准度的时间校正，而且可以使用加密确认的方式来防止病毒的协议攻击。二、NPT应用场景NTP通常用于同步网络中有各个计算机时间的一致性，需要保证所有网络设备的时间高度一致，...

Java序列化是指把Java对象转换为字节序列的过程，Java反序列化是指把字节序列恢复为Java对象的过程主要有两种用途： 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中； 在网络上传送对象的字节序列。不管什么用途我们都希望占用空间小，传输效率高，读写快。方式有多中，效率不同，常见的方式有jdk的ObjectOutputStream、json类库、javax的xml、goog...