1.Scala是什么Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性，Scala运行于Java平台(Java虚拟机)，并兼容现有的Java程序2.为什么要学Scala    1)优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验    2)速度快：Scala语言表达能力强，一行开发速度快，代码抵...

之前写过一篇关于如何部署hadoop完全分布式集群，但是是在虚拟机中部署的，开三台虚拟机，电脑内存就占用的特别多，毕竟虚拟机比较占内存，而docker是一种操作系统级别的轻量级虚拟化技术，一个docker容器占用少量的内存，下面就详解部署hadoop分布式的步骤(我的是在阿里云服务器上部署的，系统是ubuntu)1.首先要在ubuntu中安装docker,可以参考之前的博文Docker的不同安..

当我们在windows环境下，在cmd命令行中输入ipconfig可以看到我们的主机ip地址，但是我们创建了一台虚拟机，并且装好系统时，输入ifconfig(这里和windows下命令不一样，不要搞混了)时，会发现得不到ip地址，下面就说一下如何设置虚拟机的ip首先我们找到VM软件的顶部:虚拟机---》设置，然后在设置里面修改网络适配器为NET模式这个时候应该就可以连上网络并得到ip地...

Docker可以像GitHub一样进行Push和Pull操作并且十分简单1.在Docker Hub上注册一个账号，然后创建一个远程仓库Docker Hub地址：    https://hub.docker.com/2.首先将本地容器打包成本地镜像docker commit容器名镜像仓库:镜像标签然后只要使用docker images可以查看到你打包到本地镜像就可以了...

1.项目需求对通话运营商的通话记录数据进行离线的分析处理，通话记录信息包含通话的手机号码，通话时间，通话时长，是否为主叫等信息2.项目架构这里对整个项目架构进行简单的说明首先通话数据是自己写代码生产出来的，然后使用Flume，实时采集数据，将采集到的数据写入Kafka，将Kafaka中的数据消费到HBase，最后写MapReduce程序对HBase中的数据进行离线分析，将最终结果写...

Spark Streaming从Kafka中接受数据的时候有两种方式，一种是使用Receiver的老方法，另一种是使用直连的方法1.Receiver方式Receiver是使用Kafka高级消费者API实现的，与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据但是，在默认配置下，此方法可能会在失败时...

也是刚开始接触大数据，学习了一些大数据的框架，但是对于大数据生态圈的界限和分类一直不是很清楚今天就对于这个大数据生态圈来做一个总结：1.从生态圈来说        Hadoop生态圈        Spark生态圈        StormHadoop生态圈和Spark生态圈实际上有些东西是相互依存的，都能适用于各自的生态圈，只不过他们处理的任务不一样，比如Kafka，HB...

开发环境：IDEASpringBootSwaggerMaven首先我们要使用IDEA创建一个SpringBoot的项目，如果IDEA中没有安装SpringBoot插件的话，先在Setting---》Plugins中搜索Spring Assistant并下载安装然后就可以创建SpringBoot项目了创建SpringBoot项目比较简单，接口编写也比较简单，这里先放一...

1.更简单支持标准的SQL和简化的APISpark 2.0依然拥有标准的SQL支持和统一的DataFrame/Dataset API，但我们扩展了Spark的SQL 性能，引进了一个新的ANSI SQL解析器并支持子查询，Spark 2.0可以运行所有的99个TPC-DS的查询，这需要很多的SQL：2003个功能在编程API方面，我们已经简化了API统一Scala/Java下的Da...

1.什么是索引索引是对数据库表中的一列或者多列的值进行排序的一种数据结构，如果把数据库中的表比作一本书，索引就是这本书的目录，通过目录可以快速查找到书中指定内容的位置索引也是一张表，该表中存储着索引的值和这个值的数据所在行的物理地址，使用索引后可以不用扫描全表来定位某行的数据，而是通过索引表来找到该行数据对应的物理地址2.索引的优缺点优点：建立索引的列可以保证行的唯一性，生成唯...