redis当中的Sentinel架构引入哨兵（Sentinel）机制，当主节点宕机时，哨兵会在从节点中选取一个节点作为主节点，提供数据写入服务。例如：在Server1 掉线后：升级Server2 为新的主服务器：第一步：三台机器修改哨兵配置文件三台机器执行以下命令修改redis的哨兵配置文件cd /export/servers/redis-3.2.8vim sentinel...

正则表达式在scala中，可以很方便地使用正则表达式来匹配数据。定义Regex类scala中提供了Regex类来定义正则表达式要构造一个RegEx对象，直接使用String类的r方法即可建议使用三个双引号来表示正则表达式，不然就得对正则中的反斜杠来进行转义val regEx = """正则表达式""".rfindAllMatchIn方法使用findAllMatchIn方法可以获取...

商品维度数据装载(拉链表)拉链表设计：1.采集当日全量数据存储到 ND（当日） 表中。2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。3.用ND－OD为当日新增和变化的数据（即日增量数据）。两个表进行全字段比较，将结果记录到tabel_I表中。4.用OD－ND为状态到此结束需要封链的数据。 (需要修改END_DATE)；两个表进行全字段比较，将结果记录到tabel_U表中 。5.历史

可以用 ALTER TABLE DROP PARTITION 来删除分区。分区的元数据和数据将被一并删除。例：alter table dc_dwa.dwa_d_sheet_remedy_s1 drop partition(month_id=202106,day_id=05);（这是删除两个分区）

一row_number() over()使用row_number函数，对表中的数据按照省份分组，按照人数倒序排序并进行标记：selectprovince_name,city_name,pc_cnt,row_number() over(partition by province_name order by pc_cnt desc) as rnfromwedw_tmp.t_rn;然后，利用上面的结果，

使用spark向hbase表添加数据（数据库、表、数据自己定）， 使用spark将hbase表中的数据查询出来打入控制台。（在spark向hbase表添加数据需要：先开启zk、hbase，进入hbase shell窗口）数据：List((“1”,“apple”,“11”), (“2”,“banana”,“12”), (“3”,“pear”,“13”))代码：object hbase {...

创建一个数据库，包括四个表：学生表（Student）、课程表（Course）、成绩表（Score）以及教师信息表（Teacher）。四个表的结构分别如表1-1的表（一）~表（四）所示，数据如表1-2的表…表（一）Student (学生表)属性名数据类型可否为空含 义Snovarchar (20)否学号Snamevarchar (20)否学生姓名Ssexvarchar ...

创建一个数据库，包括四个表：学生表（Student）、课程表（Course）、成绩表（Score）以及教师信息表（Teacher）。四个表的结构分别如表1-1的表（一）~表（四）所示，数据如表1-2的表…表（一）Student (学生表)属性名数据类型可否为空含 义Snovarchar (20)否学号Snamevarchar (20)否学生姓名Ssexvarchar ...

两种查询风格1、准备工作读取文件并转换为DataFrame或DataSetval lineRDD= sc.textFile(“hdfs://node01:8020/person.txt”).map(_.split(" "))case class Person(id:Int, name:String, age:Int)val personRDD = lineRDD.map(x =>...

Flink 简介1.1 Flink 的引入这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm， 以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以 内存为赌注，赢得了内存计算的飞速发展。 Spark 的火热或多或少的掩盖了其他分布式计 算的系统身影。就像 Flink，也就在这个时候默默的发展着。 在国外一些社区，有很多