如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来-据统计，每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等，这些概念特别容易混淆，本文对这些名词术语及内涵

Spark Streaming编程指南OverviewSpark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter, ZeroMQ和TCP Socket的数据源，使用简单的api函数比如 map, reduce, join, window等操作，还可以直接使用内置的机器学习算法、图算法包来处理数据。 它

关于深入理解 Java 8 Lambda（语言篇——lambda，方法引用，目标类型和默认方法）深入理解 Java 8 Lambda（类库篇——Streams API，Collector 和并行）深入理解 Java 8 Lambda（原理篇——Java 编译器如何处理 lambda）本文是深入理解 Java 8 Lambda 系列的第一篇，主要介绍 Java 8 新增的语言特性（比如...

flinkStreamSQL熟悉flink的应该都了解，flink支持流表之间的join，但到1.6为止都不支持流表和维表的join。浪尖最近，也在开发流平台，需要到flink流表和维表的join。那么针对这个大家第一印象，可以写个算子去实现，比如map等。但是浪尖这里开发的流平台不是说自己写api，而是用户通过sql去实现创建source，sink，udf，sql等，这个时候要进行维表join，

StreamingQueryListenerStreamingQueryListener，即监听StreamingQuery各种事件的接口，如下:abstract class StreamingQueryListener {import StreamingQueryListener._// 查询开始时调用def onQueryStarted(event: QueryStartedEvent): U

创建对象的方式用new语句创建对象。使用反射，调用java.lang.Class或java.lang.reflect.Constructor的newInstance()实例方法。调用对象的clone()方法使用反序列化手段，调用java.io.ObjectInputStream对象的readObject()方法。 还有其他一些隐式创建对象的方法： 对于java命令中的每个命令行参数，Java虚拟机

Spring Cloud Stream是什么?Spring Cloud Stream是一个用来为微服务应用构建消息驱动能力的框架。它可以基于Spring Boot来创建独立的、可用于生产的Spring应用程序。它通过使用Spring Integration来连接消息代理中间件以实现消息事件驱动的微服务应用。简单的说，Spring Cloud Stream本质上就是整合了Spring Boot和S.

1.Flink架构及特性分析Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中，所有 的数据都看作流，是一种很好的抽象，因为这更接近于现实世界。1.1 基本架构...

Gremlin简介Gremlin是Apache TinkerPop 框架下的图遍历语言。Gremlin是一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（data stream）上执行一个原子操作。Gremlin包括三个基本的操作：map-step对数据流中的对象进

有特点的流处理引擎NiFi流处理不止有flink、storm、spark streaming，今天介绍一个大家不一定用得很多，但是却很有特点的东西，NiFi。前面写了flink的文章，其实流处理不止有flink、storm、spark streaming，说实话这些其实都是比较传统的流处理框架。今天介绍一个大家不一定用得很多，但是却很有特点的东西，NiFi。