如果了解Accumulator 可以参考Broadcast变量&Accumulators1.1、需求session聚合统计：统计出来之前通过条件过滤的session，访问时长在0s~3s的session的数量，占总session数量的比例；4s~6s。。。。；访问步长在1~3的session的数量，占总session数量的比例；4~6。。。；1.2、使用Ac

hbase 到 hive

一、表的设计1.1 Pre-Creating Regions  默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。下面是一

flink sql client:upsert-kafka connector

一、安装1.1、安装参考1.2、 修改默认端口涉及配置文件vim /etc/gitlab/gitlab.rb修改ngnix 端口nginx['listen_port'] = 18788#默认80端口修改unicorn端口unicorn['port'] = 18787#默认8080vim /var/opt/gitlab/nginx/conf/gitlab...

一、Hive动态分区插入数据时,由于乱码导致动态分区为乱码,无法删除,1.1.删除hdfs下分区找到表的路径， 删除分区表的hdfs目录desc extended TABLENAME;hdfs dfs -rm -f filePath;###1.2、删除MySQL下的元数据信息####1.2.1、找到tbl_idSELECT TBL_IDFROM TBLS WHERE...

二、算法介绍2.1、apriori算法

文章目录一、什么是数据湖？1.1、数据湖概述1.2、为什么需要数据湖？1.3、数据湖架构1.3.1、来源1.3.1.1、同质来源1.3.1.2、异构来源1.3.1.3、数据湖架构主要使用以下来源：1.3.2、数据处理层1.3.3、目标1.4、数据湖的优点与风险1.4.1、优点1.4.2、风险二、数据湖与数据仓库关注我的公众号【宝哥大数据】，更多干货一、什么是数据湖？1.1、数据湖概述是一个集中式存

flinksql -- join

1、需要添加elasticsearch-hadoop-version.jar, version对应集群的版本，2、代码# encoding=UTF-8# -*-coding:UTF-8-*-import jsonfrom pyspark.sql import SparkSession# 设置doc_iddef addId(data):return (data['id'], json.dumps(d