1.Service（相当于pod集群内的统一对外访问接口，外部访问service，service进行负载到各个pod，并有两种方式）将一组 Pods 公开为网络服务的抽象方法。#暴露Deploykubectl expose deployment my-dep --port=8000 --target-port=80#使用标签检索Podkubectl get pod -l app=my-dep（ya

1、安装wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v0.47.0/deploy/static/provider/baremetal/deploy.yaml#修改镜像vi deploy.yaml#将image的值改为如下值：registry.cn-hangzhou.aliyuncs.com/l

实时ETL流程测试文档编号版本号V1.0名称实时ETL流程测试文档总页数正文编写日期审批目录1. 测试目的本次测试主要对基于Flink的实时ETL系统各个环节跑通测试各个组件功能可用性测试数据一致性、实时性、完整性2. 测试方法采用python脚本模拟生成数据，通过Kafka作为消息队列，Flink完成实时抽取转换，输出数据到HDFS测试过程主要分为以下3

0x01 需求背景将Kafka中的JSON数据持久化存储到Hive表中，以供后期有查找的需求。（看了很多讲解的博文，出了各种bug！饶了很多弯路！总结出来的经验就是一定要仔细看Flume的官方文档！！！！！！）Kafka中的数据示例：>{"id":1,"name":"snowty","age":25}Hive表示例：hive> desc hivetable;OKidint...

写在前面估计运维年前没有祭拜服务器，Nginx的问题修复了，Kafka又不行了。今天，本来想再睡会，结果，电话又响了。还是运营，“喂，冰河，到公司了吗？赶紧看看服务器吧，又出问题了“。“在路上了，运维那哥们儿还没上班吗”？ “还在休假。。。”， 我：“。。。”。哎，这哥们儿是跑路了吗？先不管他，问题还是要解决。问题重现到公司后，放下我专用的双肩包，拿出我的利器——笔记本电脑，打开后迅速登录监控系统

1.背景2022-01-2516:54收到研发反馈订单同步出现异常2022-01-2517:10定位到问题，同步程序报错发送的消息体超过最大限制2022-01-2517:25完成配置优化及重启2022-01-2517:34完成数据验证，延迟消息已自动补回2.异常分析1.报错分析ERRORc.a.o.canal.connector.kafka.producer.CanalKafkaProducer-

2.1 canal 入门2.1.1 什么是 canal阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010 年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal 是用 java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中

1、部署kubernetes官方提供的可视化界面GitHub - kubernetes/dashboard: General-purpose web UI for Kubernetes clusterskubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommend

1 函数类（Function Classes）Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction 等等。下面例子实现了 FilterFunction 接口：还可以将函数实现成匿名类我们 filter 的字符串"flink"还可以当作参数传进去。2 匿名函数（Lambda Functio