Flink常用APIDataStream ApisourcetransformationsinkDataSource ApisourcetransformationsinkFlink Table Api&SQL APIDataStream Apisource基于文件 env.readTextFile 逐行读取文件基于Socketenv.socketTextStream基于集合env.fro

hdfs 总结hdfs概述hdfs常用命令与APIhdfs原理hdfs 实际应用HA以及原理一、hdfs概述hdfs概念：hdfs是一个分布式文件系统，为存储和计算大规模数据提供可需的扩展能力hdfs特点：（1）master-slave架构：一个namenode主节点 master 多个datanode从节点slave（2）层次性文件结构：和传统的文件系统类似，提供层次性的目录结构。文件目录结构的

Spark CoreSpark概述spark与MR比较spark系统架构spar安装部署Spark概述spark是一个快速、通用的计算引擎spark特点：速度快，使用简单、通用、兼容好spark与MR比较Map ReduceSpark数据存储结构：磁盘HDFS文件系统的split使用内存构建分布式数据集RDD对数据进行运算和cache编程范式：Map+Reduce，仅有两个操作，表达能力欠缺提供了