文章目录1.创建shell监控脚本flink_log_monitor.sh2.设置钉钉智能机器人3.crontab执行脚本4.mysql存放日志INFO5.钉钉告警1.创建shell监控脚本flink_log_monitor.sh#!/bin/bashnow=`date '+%Y-%m-%d %H:%M:%S'`# 传入要遍历的目录root_dir="$1"# 初始化监控文件,通过getdir方法

1.生成ssh秘钥鼠标右键：git bash here检查电脑里是否已经有 SSH keycd ~/.sshls生成 SSH keyssh-keygen -t rsa -b 4096 -C “email@example.com”参数含义：-t 指定密钥类型，默认使用rsa，可以不写-C 表示comment，设置注释文字-b 指定密钥长度。对于RSA密钥，最小要求768位，默认是2048位。DSA密

文章目录1.1 hdfs为什么不能小文件过多？1.1.1 概念1.1.2 发生的问题1.1.3 hadoop的默认内存大小和预估能够存储的文件数量1.1.4 修改namenode datanode的内存1.2 flume、hive、 tez、 hbase、 spark、 flink 写数据到hdfs分别怎么解决小文件？1.2.1 flume1.2.2 hive1.2.3 tez1.2.4 hbas

文章目录一.项目背景：电商二.离线数仓演进过程1.第一个阶段2.第二个阶段3.第三个阶段4.第四个阶段三.如何去做数仓架构设计0.整体架构图1.数据抽取 sqoop/datax2.数仓分层3.数据回流4.数仓表名、字段名 命名规范5.技术选型四.数据库&数据仓库的区别1.范式2.数据仓库和范式之间存在着一种什么样的关系一.项目背景：电商离线数仓演进过程当中遇到的问题&解决方案/思路

文章目录一.linux命令1.root2.pwd 查看当前光标所在的目录 路径3.ls 查看4.mkdir 创建文件夹5.cd 切换目录 路径6.命令帮助 help7.清楚屏幕 clear8.mv移动cp复制9.创建文件10.查看文件内容 log config data11. 上传下载12.别名 alias13.环境变量14.创建用户15.自动补全释放你的手指 节省力量16.history...

文章目录一.项目背景：电商二.离线数仓演进过程1.第一个阶段2.第二个阶段3.第三个阶段4.第四个阶段三.如何去做数仓架构设计0.整体架构图1.数据抽取 sqoop/datax2.数仓分层3.数据回流4.数仓表名、字段名 命名规范5.技术选型四.数据库&数据仓库的区别1.范式2.数据仓库和范式之间存在着一种什么样的关系一.项目背景：电商离线数仓演进过程当中遇到的问题&解决方案/思路

以计算每个 mid 出现的次数为例，keyby 之前，使用 flatMap 实现 LocalKeyby 功能//Checkpoint 时为了保证 Exactly Once，将 buffer 中的数据保存到该 ListState 中//本地 buffer，存放 local 端缓存的 mid 的 count 信息//缓存的数据量大小，即：缓存多少数据再向下游发送 private int batchSi

文章目录1.量化思维2.富人两个秘密与穷人两个死穴3.复利3.1 什么是复利？3.2 复利的影响因素4.复利的反向作用5.复利的头号敌人6.资产分配的一种方法7.我每个月结余下来500块来投.资有意义吗？8.富人的第四、第五思维1.量化思维     【量化思维】是富人思维最重要的思维之一，从今天开始重视自己的时间价值，哪怕是目前一无所有的人，只要利

文章目录1.添加依赖包2.代码3.测试1.添加依赖包<!--压缩图片--><dependency><groupId>net.coobird</groupId><artifactId>thumbnailator</artifactId><version>0.4.8</version></depend

文章目录1.Flink 三种Join的代码测试1.1数据源1.2join1.3intervalJoin1.3.1intervalJoin API用法1.3.2intervalJoin SQL用法1.4coGroup2. intervalJoin源码解析3.三种Join的区别及使用场景1.Flink 三种Join的代码测试1.1数据源（1）左流订单表（orders）idproductNameorde