关系型模型之父Edgar F. Codd，在1970年Communications of ACM 上发表了《大型共享数据库数据的关系模型》，成为了永恒的经典，关系模型的语义设计易于理解，语法上嵌套、闭环、完整，因此在数据库领域，关系模型普及与流行了数年之久。在此之后，IT世界涌现了很多非常著名的RDBMS（关系型数据库系统），包括了Oracle、MySQL、SQLServer、DB2、Postgr

作为大数据处理计算的大一统软件栈Spark，或将是大数据处理领域里面的Spring framework。我们从下图中可以看到Spark core之上具有了四种面向不同计算领域或方式的Spark模块，Spark streaming模块面向实时流计算，具体方式采用微批处理；MLlib模块面向Spark的机器学习库，尤其是Spark默认对Python的支持，成为Python开发者接入Hadoop生态平台

聊大数据技术是什么这个问题，那么我们先得弄明白另一个问题，不是大数据的数据技术又是什么呢？从传统数据库的诞生开始，这个世界基本上都是围绕着关系型数据模型进行业务系统的开发，例如MySQL，Oracle，SqlServer等等，这种数据存储的技术特点其实就是对业务数据结构化为关系模型。什么是关系模型？经典数据模型定义的三个要素：结构、完整性、操作关系型模型之父Edgar F. Codd，在1970年

很多专家的观点都认为边缘计算就是先在边缘侧进行大量的数据预处理后，再将二次处理过的数据传给大数据平台端，做机器学习之类，这样既能解决带宽问题，又能减少后端的压力。我觉得这个观点不切实际！

大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等；在分布式数据库HBase也具有Impala、phoenix这样的SQL外观，可以通过SQL与HBase交互；另外分布式关系模型数据库(NewSQL)，例如：cockroachdb的sql layer、TiDB的tidb模块

SOA是一种软件的应用架构方法，它基于面向对象，但又不是面向对象，整体上是面向服务的架构。SOA由精确的服务定义、松散的构件服务组成，以及业务流程调用等多个方面形成的一整套架构方法。这话是不是听起来，让人觉得有点晕，我们就细细品读一下。SOA的架构思想（一）SOA架构是面向服务的，只不过是基于面向对象SOA继承了很多面向对象的特点，比如说面向对象的封装，经常代表很多类封装成一个模块，为其他对象调用

大数据技术的学习任重而道远，很多小伙伴都会卡在诸多的基础问题上，因此作为大数据技术方面的布道者，我将开启一个全新的学习实践与指导计划：从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一

西安算是除了北上广深之外比较优质的软件产业城市，但是有一个现象是西安一直无法摆脱的魔咒，那就是二十年前西安被定义成了软件外包基地，尽管这么多年，西安软件早已是科技创业公司遍布的科技城，但软件产业重心始终无法摆脱传统应用项目或外包项目的天花板，很罕见有公司在互联网平台、大数据和人工智能、基础技术产品等更高层次的业务上实现突破。

通过看到一种火热的技术现象，会产生对事物的一种浅层认知后，然后再深入理解去获得一个比较深刻的认识。大数据具有社会化，技术性的重要特点。从社会化看先说这个“大”，也就是大数据最早的定义：速度、类型和容量，所谓的3V。实际上大数据的发展早已经突破了这个定义。数据体现的不是所谓的“大小”，而是规模。每个人的手机，都是一部随时产生数据的设备，我们时刻发着消息，每次点击APP，都生产一条事件数据，无论这个操

大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等；在分布式数据库HBase也具有Impala、phoenix这样的SQL外观，可以通过SQL与HBase交互；另外分布式关系模型数据库(NewSQL)，例如：cockroachdb的sql layer、TiDB的tidb模块