1.大数据概念    大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。    主要解决海量数据的存储和海量数据的分析计算问题。    按顺序的数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB。2.大数据的特点  

    • HBase 支持很多种访问，访问HBase的常见接口如下。    • Native Java API，最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理HBase表数据。    • HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。    • Thrift Gateway，利用Thrift序列化技术，支持C++...

1. Kafka 高级消费者高阶消费者是一把双刃剑，一方面简化了编程，一方面也由于编程者参与的功能过少， 可控内容过少而造成很多问题。(1) 自动负载均衡高阶消费者为了简化编程，封装了一系列 API，这套 API 会均匀地将分区分配给消费者 线程，消费者消费哪个分区不由消费者决定，而是由高阶 API 决定，如果有消费者线程挂 掉了，高阶 API 会检测到，进而进行重新分...

1.Flume 组件介绍 名称解析Event一个数据单元，带有一个可选的消息头，其实就是一条消息， 一个日志;(Kafka 的消息没有消息头，因此，Flume 的消息进入 Kafka 后，消息头就丢失了)Flow数据流，Event 从源点到达目的点的迁移的抽象...

1.Elasticsearc 是什么    Elasticsearch是一个基于Lucene构建的开源、实时、分布式、RESTful接口的全文搜索引擎和分析引擎。Elasticsearch还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，Elasticsearch能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。..

1.SpringBoot学习专栏http://springboot.fun/2.springboot 练习代码https://github.com/luomingkui/springboot

1.Hive安装地址说明• Hive官网地址:http://hive.apache.org/• 文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted• 下载地址:http://archive.apache.org/dist/hive/• github地址:http...

1、maven工程中出现的错误2、解决办法；file->setting->Maven如果还没好的话请尝试以下方法：

1.Presto 简单介绍1.1 Presto基本概念Presto是Facebook开源的MPP SQL引擎，旨在填补Hive在速度和灵活性（对接多种数据源）上的不足。相似的SQL on Hadoop竞品还有Impala和Spark SQL等。这里我们介绍下Presto的基本概念。Presto是一个分布式的查询引擎，本身并不存储数据，但是可以接入多种数据源，并且支持跨数...

1.同步MySQL数据到Redis(1) 在redis数据库设置缓存时间，当该条数据缓存时间过期之后自动释放，去数据库进行重新查询，但这样的话，我们放在缓存中的数据对数据的一致性要求不是很高才能放入缓存当中。例如：缓存量大但又不常变化的数据，比如商品信息的评论。(2) 基于binlog使用mysql_udf_redis，将数据库中的数据同步到Redis。无...