logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Hadoop(三)HBase原理解析

HBase定义HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。   HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapR...

SpringCloud | 第七篇: 高可用的分布式配置中心(Spring Cloud Config)

转载请标明出处:原文首发于:https://www.fangzhipeng.com/springcloud/2018/08/30/sc-f7-config/本文出自方志朋的博客上一篇文章讲述了一个服务如何从配置中心读取文件,配置中心如何从远程git读取配置文件,当服务实例很多时,都从配置中心读取文件,这时可以考虑将配置中心做成一个微服务,将其集群化,从而达到高可用,架构图如下:一、准备...

Hadoop(二)Hive原理解析

一、Hive的起源Hive起源于Facebook(一个美国的社交服务网络)。Facebook有着大量的数据,而Hadoop是一个开源的MapReduce实现,可以轻松处理大量的数据。但是MapReduce程序对于Java程序员来说比较容易写,但是对于其他语言使用者来说不太方便。此时Facebook最早地开始研发Hive,它让对Hadoop使用SQL查询(实际上SQL后台转化为了MapReduc..

RestTemplate结合@LoadBalanced的使用方式

什么是RestTemplate传统情况下在java代码里访问restful服务,一般使用Apache的HttpClient。不过此种方法使用起来太过繁琐。spring提供了一种简单便捷的模板类来进行操作,这就是RestTemplate。准备服务端我是用的是一个普通的API@RestControllerpublic class ServerController { @G...

SpringBoot-Kafka使用(二)

一、Topic的相关操作和可视化工具手动创建Topic看过SpringBoot-Kafka(一)这篇文章会发现,我们从到到尾都没有创建过"topic.quick.demo"这个Topic,这是因为KafkaTemplate在发送的时候就已经帮我们完成了创建的操作,所以我们不需要主动创建"topic.quick.demo"这个Topic,而是交由KafkaTe

Flink(九)Flink自定义Sink注入Spring容器

一、配置Flink相关属性public class FlinkKafkaStreaming {/*** 加载Kafka配置*/@Autowiredprivate KafkaProperties kafkaProperties;public void main(String[] args) throws Exception {// 流处理...

Flink(十一)Flink连接Kafka输出到HDFS

一、配置项目的依赖其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入,hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题,2.7.3为hadoop的版本号。<dependency><groupI...

Flink(九)Flink自定义Sink注入Spring容器

一、配置Flink相关属性public class FlinkKafkaStreaming {/*** 加载Kafka配置*/@Autowiredprivate KafkaProperties kafkaProperties;public void main(String[] args) throws Exception {// 流处理...

WebSocket原理及使用场景

由轮询到WebSocket1 轮询客户端和服务器之间会一直进行连接,每隔一段时间就询问一次。客户端会轮询,有没有新消息。这种方式连接数会很多,一个接受,一个发送。而且每次发送请求都会有Http的Header,会很耗流量,也会消耗CPU的利用率。2 长轮询长轮询是对轮询的改进版,客户端发送HTTP给服务器之后,有没有新消息,如果没有新消息,就一直等待。当有新消息的时候,才会返回给客户...

Spring Cloud Config结合RabbitMQ实现统一配置中心

统一配置中心概述如果微服务架构中没有使用统一配置中心时,所存在的问题:配置文件分散在各个项目里,不方便维护配置内容安全与权限,实际开发中,开发人员是不知道线上环境的配置的更新配置后,项目需要重启在SpringCloud中我们使用config组件来作为统一配置中心:Config Server废话不多说,本小节我们来开发统一配置中心的server端,在IDEA中新建一个Spr...

暂无文章信息