大数据技术的学习任重而道远，很多小伙伴都会卡在诸多的基础问题上，因此作为大数据技术方面的布道者，我将开启一个全新的学习实践与指导计划：从零开始，一步步由浅入深，系统化的开展大数据技术实践的学习指导，手把手的教会我们怎么应用大数据技术框架，再配合上大数据技术、分布式架构的原理研究、系统优化、框架协作等高级内容，使得我们能更深刻的掌握大数据技术。期待能促进更多的工程师朝着大数据、人工智能、物联网等新一

西安算是除了北上广深之外比较优质的软件产业城市，但是有一个现象是西安一直无法摆脱的魔咒，那就是二十年前西安被定义成了软件外包基地，尽管这么多年，西安软件早已是科技创业公司遍布的科技城，但软件产业重心始终无法摆脱传统应用项目或外包项目的天花板，很罕见有公司在互联网平台、大数据和人工智能、基础技术产品等更高层次的业务上实现突破。

通过看到一种火热的技术现象，会产生对事物的一种浅层认知后，然后再深入理解去获得一个比较深刻的认识。大数据具有社会化，技术性的重要特点。从社会化看先说这个“大”，也就是大数据最早的定义：速度、类型和容量，所谓的3V。实际上大数据的发展早已经突破了这个定义。数据体现的不是所谓的“大小”，而是规模。每个人的手机，都是一部随时产生数据的设备，我们时刻发着消息，每次点击APP，都生产一条事件数据，无论这个操

大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。这就包括了Hive、Impala、Presto、Spark SQL等；在分布式数据库HBase也具有Impala、phoenix这样的SQL外观，可以通过SQL与HBase交互；另外分布式关系模型数据库(NewSQL)，例如：cockroachdb的sql layer、TiDB的tidb模块

分布式对象存储和分布式文件系统具有很强烈的对比性分布式对象存储是key/value的存储模式，以restful访问方式为主，几乎处于扁平化的存储形式，通过地址作为主键，访问、更新的文件对象作为值。文件本身可以分布式分片，但是key/value的访问都是原子性，文件不能追加数据，亦不能随机访问文件的片段，必须整存整取。几乎大多数的互联网web资源访问都适合这种模式，例如：大厂们都云存储OSS。分布式

对于经常接触云计算服务技术的同学们估计一听到ECS，耳朵都能磨出茧子，印象中ECS不就是弹性计算服务么，再人话点就是你按量充值的一台虚拟主机，然后通过SSH远程维护这台虚拟主机的操作系统呗，但是Amazon ECS就不同于你们理解的那个ECS啦！且听我慢慢道来。Amazon ECS全称是（Amazon Elastic Container Service），它是针对容器技术高度弹性的的管理服务，我么

对于经常接触云计算服务技术的同学们估计一听到ECS，耳朵都能磨出茧子，印象中ECS不就是弹性计算服务么，再人话点就是你按量充值的一台虚拟主机，然后通过SSH远程维护这台虚拟主机的操作系统呗，但是Amazon ECS就不同于你们理解的那个ECS啦！且听我慢慢道来。Amazon ECS全称是（Amazon Elastic Container Service），它是针对容器技术高度弹性的的管理服务，我么

因为生产力驱动而非理想主义驱动。开源运动的蓬勃发展来自于GNU(GNU is not unix)，Richard·Matthew·Stallman领导着一群黑客，带着对比尔·盖茨的鄙视，制定了GPL协议，以后人人都能从伟大的前人身上学习到源代码的精髓，让软件的获取更加自由，此后开源运动蓬勃发展，极大地推动了人类信息科技进步，这就是典型的理想主义。世界级的创造其实都来自于天才对于理想的坚持。我们再追

MooseFS是一家波兰公司开发的分布式文件系统，相对于Google体系，Apache支持的Hadoop HDFS来说，小众了许多。一、从分布式架构的角度看两者都属于中心结构，这点上是区别于GlusterFS这种去中心化的分布式文件系统架构。MooseFS的元数据管理主服务叫做MasterServer，而HDFS是NameNode。它们都是在管理着元数据目录树以及负责不同数据节点的分布式协作。因此

传统应用系统架构的瓶颈曾经为物业管理公司架构设计并领导开发过一个互联网+物业增值服务平台项目，刚接手这个系统的时候，这个平台在最初的1.0版本采用的是比较标准的单体应用，Java、Tomcat、MySQL，功能服务也比较简单，主要还是物业报修相关，不过在我接手后，客户就开始了2.0的规划，这就包括了物业缴费、物业通知、线上礼品兑换，因此我们延续这个架构完成了2.0版本的上线。如下图所示：从架构角度