1.分布式缓存1.1 介绍1.1.1 技术细节1.分布式文件缓存的作用与广播变量类似，也是为了避免出现join 操作发生数据倾斜而设计出来的2.与广播变量不同之处在于：广播变量中封装的数据类型是: DataSet, DataStream分布式文件缓存中封装的数据类型是File3.分布式文件缓存底层如何运作？将分布式文件系统上的资源文件装载到TaskManager进程所...

Hive 高可用1. HiveServer2高可用及Metastore高可用使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和portMetastore高可用原理：Hive Metastore客户端始终使用第一个url连接到m

1、编写微服务msc-provider8081并部署到K8S1.1 创建微服务工程msc-provider8081idea创建一个 Spring Initializr 工程，并命名为 msc-provider-8081。导入 Lombok、Web、JPA 及 MySQL 驱动依赖。pom.xml添加依赖<parent>&lt...

1、Hystrix断路器概述Hystrix是一个用于处理分布式系统的延迟和容错的开源库，在分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，Hystrix能够保证在一个依赖出问题的情况下，不会导致整体服务失败，避免级联故障，以提高分布式系统的弹性。“断路器”本身是一种开关装置，当Hystrix监控到某个服务发生故障之后熔断器会开启，将此服务链路断开，不过hystrix不会将该服务的..

1、编写微服务消费者consumer并部署到K8S1.1 创建一个 Spring Initializr 工程命名为 01-consumer-8080，导入 Lombok 与 Web 依赖。pom.xml添加依赖<parent><groupId>org.springframework.boot</groupId>&l...

1. spring cloud config 概述1.1 官网介绍1.2 统合说明Spring Cloud Config 就是对微服务的配置文件进行统一管理的。其工作原理是，我们首 先需要将各个微服务公共的配置信息推送到 GitHub 远程版本库。然后我们再定义一个 Spring Cloud Config Server，其会连接上这个 GitHub 远程库。这样我们就可以定义 Config...

1、zuul路由网关概述1.1Zuul简介网关是系统唯一对外的入口，介于客户端与服务器端之间，用于对请求进行鉴权、限流、 路由、监控等功能。其中路由功能负责将外部请求转发到具体的微服务实例上，是实现外部访问统一入口的基础而过滤器功能则负责对请求的处理过程进行干预，是实现请求校验、鉴权等处理Zuul和Eureka进行整合，将Zuul自身注册为Eureka服务治理下的应用，同时从Eureka...

本文是在CentOS7环境上，搭建微服务集群系统简单样例。架构描述：k8s集群：2台master node，1台slave node，均安装maven、docker、k8s环境；k8s集群系统用来保证单个服务指定数量的微服务实例副本Pod。1、编写微服务注册中心msc-eureka8761并部署到K8S1.1 Eureka是什么Eureka是Netflix的一个子模块，也是核心模块之一。Eu...

1.Flink流处理API1.1 Transformation1.1.1 介绍source算子之fromElements，参数是可变长的，类型可以是:基础数据类型，样例类，POJO, 元组source算子之fromCollection, 参数类型是集合，集合既可以是java中的集合类型，也可以是scala中的集合类型，将Java中的集合类型自动转换为scala中对应的集合类型，必须导入:...