常用的数据采集框架：- sqoop：用于RDBMS与HDFS之间数据导入与导出- flume：采集日志文件数据，动态采集日志文件，数据流 flume采集到的数据，一份给HDFS，用于做离线分析；一份给Kafka，实时处理- kafka:主要用于实时的数据流处理 flume与kafka都有类似消息队列的机制，来缓存大数据环境处理不了的数据HDFS：分布式文件系统MapReduce：分布式计算系统Ya

idea 使用spark连接hive时报错：Class com.hadoop.compression.lzo.LzoCodec was not found

大数据的定义：维基百科 给出的定义：数据规模巨大到无法通过人工在合理的时间内达到截取，管理，处理并整理成为人类所解读的信息。麦肯锡全球研究所 给出的定义：一种规模大到在获取、存储、管理、分析方面都大大超出了传统数据库软件工具能力范围的数据 集合。高德纳(Gartner)研究机构 给出的定义："大数据"是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、 高增长率和多样化的信

导读：数据指标体系是构建数据中台的重要一环。数据指标的建立让运营及产品人员更直观地看到基本指标的变动，让数据分析师更便捷地开展数据分析工作。数据指标就是将大数据之“大”的精髓给提炼出来，展现每日观察数据的使用者最迫切想要看到的统计量。数据指标体系并不是第三方服务公司的专利，只要对埋点科学地进行数据采集，每个成型的互联网公司都可以自己搭建数据指标体系。数据之大，很多时候人们并不知从哪里着手，甚至弄不