持久化存储是Spark非常重要的一个特性，通过持久化存储，提升Spark应用性能，以更好地满足实际需求。而Spark的持久化存储，根据不同的需求现状，可以选择不同的策略方案。今天的大数据入门分享，我们就来具体讲讲Spark持久化存储策略。所谓的Spark持久化存储，就是将一个RDD持久化到内存或磁盘中，以便重用该RDD，省去重新计算的环节，以空间换时间。RDD持久化，是一个分布式的过程，其内部的每

HDFS作为Hadoop的分布式文件系统，其在大数据平台当中的地位是显而易见的。面对越来越大规模的数据存储任务，HDFS的高可靠性和高性能依然值得称赞，这也与HDFS的数据读写机制有关。今天的大数据开发分享，我们具体来讲讲HDFS数据写入流程。HDFS数据写入客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个

Flink在大数据处理上，是流批一体的框架，针对于各种场景下的数据处理，也有一套Flink SQL的操作思路。今天的大数据开发学习分享，我们就来讲讲基本的Flink SQL快速入门。Flink SQL，就是直接可以在代码中写SQL，来实现一些查询（Query）操作。Flink的SQL支持，基于实现了SQL标准的Apache Calcite（Apache开源SQL解析工具）。1、导入所需要的的依赖包

互联网的发展，带来了各种数据的爆发式增长，所以接入互联网的相关操作行为，都化为虚拟的数据被记录了下来。大数据时代的带来，一个明显的变化就是全样本数据分析，面对TB/PB级及以上的数据规模，Hadoop始终占据优势。今天的大数据学习分享，我们来聊聊基于Hadoop的数据分析平台。Hadoop在大数据技术生态圈的地位，可以说是难以动摇，经过这么多年的发展，基础核心架构的地位，依然稳固。Hadoop系统

大数据已经成为我们生活当中习以为常的一个名词，基于大数据分析下的精准推荐，已然覆盖到我们生活的方方面面。在这样的背景下，大数据的未来发展前景，也受到更多的关注。精准营销、广告推荐、猜你喜欢……这些已经融入我们生活当中的行为，背后都有大数据技术的支持，还有席卷全球的疫情，疫情数据的跟踪与分析，防控的相关措施制定，也都少不了大数据的功劳。对于大数据的未来发展前景，我们首先来看一组大数据近几年的发展数据

在大数据处理当中，最核心要解决的其实就是两个问题，大数据存储和大数据计算。在Hadoop生态当中，解决大数据存储，主要依靠就是HDFS，再配合数据库去完成。今天的大数据入门分享，我们就来讲讲Hadoop HDFS存储原理。1、什么是HDFS？HDFS即Hadoop distributed file system（hadoop分布式文件系统），在Hadoop当中负责分布式存储阶段的任务，它是一个分布

Kafka作为实时消息队列的一个重要框架，在大数据技术架构搭建层面，越来越得到重用。相应的，Kafka在大数据技术生态当中的地位，也越来越重要。今天的大数据开发学习分享，我们就来讲讲Kafka延迟队列的部分。kafka基于时间轮（TimingWheel）自定义了一个用于实现延迟功能的定时器。时间轮是一个存储定时任务的环形队列，底层采用数组实现，数组中的每个元素可以存放一个定时任务列表（TimerT

犹记得，Spark在2013年才开始陆续传到国内，而再此之前，大数据领域可以说是Hadoop的天下。但是仅在一年多左右的时间，Spark就迅速成为了新一代的大数据框架的选择，光环甚至一度超过Hadoop，而关于Hadoop和Spark的争议，也一直没断过。比如说Spark是否依赖hadoop？关于Spark和Hadoop的关系，一开始似乎是处在天然的对立面，非此即彼，什么Hadoop已死，Spar

在Spark生态当中，MLlib往往是被定义为一个机器学习的库，通过用MLlib封装好的算法，可以非常轻松便捷地构建机器学习应用。在大数据处理当中，有了MLlib的出现，可以说是非常有利的一个工具。今天的大数据学习分享，我们就来对Spark MLlib做一个简单的入门介绍。Spark MLLib简介MLlib作为Spark的机器学习库，提供了非常丰富的机器学习算法，比如分类、回归、聚类及推荐算法等

大数据发展至今，提起大数据计算引擎，Spark一定是不能忽视的一个。经过近年来的发展，Spark在大数据领域的市场占有率也在不断提升，可以自己独立支撑集群运行，也可以与Hadoop生态集成运行，因此广受欢迎。今天我们就来分享Spark详解，看看Spark在大数据生态当中的定位如何？早期的大数据，Hadoop框架受到的重用是显而易见的，而随着大数据处理新的数据处理需求产生，Hadoop在实时数据流计