JDBC案例：模拟用户登录（一）1、示例代码如下：package com.jh.www;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.S

map-side 预聚合，就是在每个节点本地对相同的 key 进行一次聚合操作，类似于MapReduce 中的本地 combiner。map-side 预聚合之后，每个节点本地就只会有一条相同的key，因为多条相同的 key 都被聚合起来了。

目录1.问题引出2.默认partition分区3.自定义Partitioner步骤：4.分区总结5.案例分析：1.问题引出要求将统计结果按照条件输出到不同的文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同的文件中（分区）2.默认partition分区public class HashPartitioner<k,v> extends partitioner<k,v&

目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级：二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意，即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a/* /将只匹配"a* "^匹配一个输入或一行的开头/^a/匹配"an A"，而不匹配

目录1.FileInputFormat切片机制1.1：切片机制1.2：案例分析1.3：FileInputFormat切片大小的参数配置2.CombineTextInputFormat切片机制2.1：FileInputFormat切片机制的缺陷：2.2：CombineTextInputFormat切片机制2.3：案例分析1.FileInputFormat切片机制1.1：切片机制1.简单地按照文件的内

目录1.语法2.基本实例在mysql中在hive中3.实战3.1:数据准备3.2:需求一：得到临时拉链表 dwd_dim-user_info_his_tmp， 2019-01-023.2:需求二：得到临时拉链表 dwd_dim-user_info_his_tmp， 2019-01-021.语法语法: if(boolean testCondition, T valueTrue, T valueFal

目录1.STR_TO_MAP函数1.1：语法描述1.2：功能描述1.3：案例1.4：实战1.STR_TO_MAP函数将字符类型数据，转化成map格式的数据1.1：语法描述STR_TO_MAP(VARCHAR text, VARCHAR listDelimiter, VARCHAR keyValueDelimiter)1.2：功能描述使用listDelimiter将text分隔成K-V对，然后使用k

目录1.问题:spark shuffle如何优化？2.分析：3.优化方案3.1：算子方面3.2：参数调优1.问题:spark shuffle如何优化？2.分析：可以从两方面考虑，第一方面宽依赖算子可以产生shuffle，我们可以从算子的角度，进行优化；第二方面产生shuffle了怎么半，我们可以从参数调优方面考虑；3.优化方案3.1：算子方面1）当进行联合的规约操作时，避免使用 groupByKe

符号含义实列做为转意，即通常在"/"后面的字符不按原来意义解释如" * “匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a/* /将只匹配"a* "匹配任何一个字符匹配一个输入或一行的开头/^a/匹配"an A"，而不匹配"An a"匹配一个输入或一行的结尾/a$/匹配"An a"，而不匹配"an A"匹配前面元字符0次或多次/ba*/将匹配b,ba,baa,baaa

目录1.数据2.取出第一个json对象3.取出第一个json的age字段的值4.复杂案例1.数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2.取出第一个json对象hive (gmall)>select get_json_object('[{"name":"大郎","sex":"男","ag