Hadoop、Spark、Storm、Flink是比较常用的分布式计算系统1）仅批处理框架：Hadoop常用于离线的复杂的大数据处理。2）仅流处理框架：Samza与YARN和Kafka紧密集成的流处理，Storm常用于在线的实时的大数据处理。3）混合框架：Spark常用于离线的快速的大数据处理（基于内存），Flink可扩展的批处理和流式数据处理的数据处理平台。关于HadoopH...

hadoop相关组件hadoop体系结构，如图：hadoop核心设计，如图Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。HDFS是Hadoop应用程序中主要的分布式存储系统， HDFS集群包含了一个NameNode（主节点），这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNo...

目录Flume概述应用场景Flume优势Flume架构Flume与Kafka对比Flume+Kafka双剑合璧构建大数据平台日志采集Flume安装配置Flume概述flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一...

前言由于对安全防御缺乏认识，在管理阿里云服务器一年半时间后，出现了一次业务数据库被勒索事件。具体记录就是业务数据库被删除，勒索病毒自己创建一个数据库，插入一条数据，数据大概内容就是你们的数据库已经被我黑了，我们现在还保有备份，请在什么什么日期之前转多少比特币到哪，如果不转，我们将把数据库备份删除。大概这些内容，这件事发生在要为客户演示之前一天，演示数据库丢失，由于之前已经跟开发人员沟通做好数据..

目录功能架构技术架构总体架构功能架构技术架构总体架构

功能架构物理拓扑

中国GDP增速放缓，互联网进入中国下半场，40万亿5G新基建，AI是绝对的主角，它将彻底改变世界，改变生活。到底什么是AI呢？用一句话概括，统计学的机器延展。人工智能又称为机器智能，核心是机器，人发明的机器。让机器具备甚至超越人类的推理、认知、统筹规划、学习、交流、移动、实用工具、操作机器，甚至第六感的能力人工智能相关的伦理、哲学方面争议颇多，维度高的生物统治维度低的生物，人类大部分在第三维度，特

目录理解APP相关概念关于混合开发(Hybrid App)几种APP开发方式对比混合开发框架/平台选择理解APP相关概念APP应用分为webAPP、混合APP、源生APP。而移动端能目前支持的应用，除了APP还有小程序。先看看webAPP、混合APP、源生APP、小程序的区别。1、webAPP只用web语言开发的，基于移动浏览器的应用。webAPP优势：跨平台兼容性很好，开发速度快...

功能架构物理拓扑

数据平台进化实际上世界都是围绕数据在转，只是计算机、网络的出现让数据虚拟化、可视化、持久化、通信化。以前写信，现在社交软件通信；以前各地同一样商品价格差，需要人去传播，现在各大电商平台已把此种情况规避；以前的有纸化办公，升级到现在的全面电子化办公；包括当前的AI、大数据，即将的5G、物联网等，纯软件领域、软硬结合领域，所有都离不开数据的支撑，而数据的重要不言而喻。所以构建数据平台，对数据进行集..