部署eureka和config最后我们在rancher上部署eureka和config项目，首先我们需要在本地创建这两个项目的docker镜像，然后推送到网易云镜像仓库上。关于使用Docker部署项目以及Rancher的安装及使用，可以参考我另外两篇文章，本文则不再赘述了：Docker化你的SpringBoot项目安装 Rancher2.x 并部署工作负载在eureka项目的根目...

前言这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。准备工作我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好了 Flink 和 Kafka 。运行启动 Flink、Zookepeer、Kafka好了，都启动了！数据库建表DROP TABLE IF EXIST...

一、Kafka的事务为什么要使用Kafka事务在日常开发中，数据库的事务几乎是必须用到的，事务回滚不一定在于数据增删改异常，可能系统出现特定逻辑判断的时候也需要进行数据回滚，Kafka亦是如此，我们并不希望消息监听器接收到一些错误的或者不需要的消息。SpringBoot使用数据库事务非常简单，只需要在方法上加上@Transactional注解即可，那Kafka如果需要使用事务也可以如此，不...

一、实现消息转发ReplyTemplate目的可以使用转发功能实现业务解耦，系统A从Topic-A中获取到消息，进行处理后转发到Topic-B中，系统B监听Topic-B获取消息再次进行处理，这个消息可以是订单相关数据，系统A处理用户提交的订单审核，系统B处理订单的物流信息等等。实现方式Spring-Kafka整合了两种消息转发方式：使用Headers设置回复主题（Reply_...

一、简介Kafka认识一下Kafka异军突起，是近来非常火热的一款消息中间件。消息中间件的作用非常多，常用作系统业务的解耦。例如最常听到的秒杀业务，我们也能使用消息中间件对业务进行解耦，用户发起秒杀请求后，系统首先会将该请求转发到中间件中，然后返回一个等待的结果(用户界面显示正在抢购，请耐心等待)，而我们系统会有监听器去接收这些秒杀请求进行对应的业务处理，最重要的是，整个系统的扩展显得非常...

一、利用Dockerfile创建Kafka和Zookeeper镜像使用wget方式安装JDK的时候需要到Oracle官网复制临时有效路径1.kafka.Dockerfile文件FROM centos:6.6ENV KAFKA_VERSION "2.0.1"RUN yum -y install vim lsof wget tar bzip2 unzip vim-enhanc...

什么是RestTemplate传统情况下在java代码里访问restful服务，一般使用Apache的HttpClient。不过此种方法使用起来太过繁琐。spring提供了一种简单便捷的模板类来进行操作，这就是RestTemplate。准备服务端我是用的是一个普通的API@RestControllerpublic class ServerController { @G...

一、Topic的相关操作和可视化工具手动创建Topic看过SpringBoot-Kafka（一）这篇文章会发现，我们从到到尾都没有创建过"topic.quick.demo"这个Topic，这是因为KafkaTemplate在发送的时候就已经帮我们完成了创建的操作，所以我们不需要主动创建"topic.quick.demo"这个Topic，而是交由KafkaTe

一、配置Flink相关属性public class FlinkKafkaStreaming {/*** 加载Kafka配置*/@Autowiredprivate KafkaProperties kafkaProperties;public void main(String[] args) throws Exception {// 流处理...

一、配置项目的依赖其中flink-connector-filesystem_2.11是将Hadoop作为Flink的BucketingSink接入，hadoop-hdfs、hadoop-common、hadoop-client解决Jar包依赖的问题，2.7.3为hadoop的版本号。<dependency><groupI...