传统数据与大数据的对比传统Linux系统与大数据linux系统安装的区别传统数据1.系统硬盘（与数据硬盘100%隔离）1）两块硬盘做一个RAID12）引导分区： 200M3）交换分区：内存的两倍空间4）根分区： /（剩下所有的空间）2.数据硬盘1）多个硬盘制作一个逻辑卷，即将多个物理磁盘制作成一个大的逻辑硬盘大数据1.系统硬盘1）两块硬盘做一个RAID12）引导分区： 200M3）交换分区： 可以

大数据【介绍】1)大数据是什么2)大数据特点3)大数据能做什么(海量数据背景下)4)大数据项目流程1)大数据是什么指数据集的大小超过了现有典型数据库软件和工具的处理能力的数据2)大数据特点①海量化（Volume）：数据量从TB到PB②多样化（Variety）：数据类型复杂，超过80%的数据是非结构化的③快速化（Velocity）：数据量在持续增加（两位数的年增长率）数据的处理速度要求高④高价值（V

大数据的特点和快的原因数据集主要特点其他特征大数据技术快的原因数据集主要特点Volume（大量）:数据量巨大，从TB到PB级别。Velocity（高速）:数据量在持续增加(两位数的年增长率)。Variety（多样）:数据类型复杂，超过80%的数据是非结构化的。Value（低密度高价值）:低成本创造高价值。其他特征数据来自大量源，需要做相关性分析。需要实时或者准实时的流式采集，有些应用90%写vs.

大数据的特点和快的原因数据集主要特点其他特征大数据技术快的原因数据集主要特点Volume（大量）:数据量巨大，从TB到PB级别。Velocity（高速）:数据量在持续增加(两位数的年增长率)。Variety（多样）:数据类型复杂，超过80%的数据是非结构化的。Value（低密度高价值）:低成本创造高价值。其他特征数据来自大量源，需要做相关性分析。需要实时或者准实时的流式采集，有些应用90%写vs.

前期准备1. 创建三台虚拟机2. 服务器主机名和IP配置（三台）3. 修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）4. 管理节点到从节点配置无密码登录5. 配置jdk1.8（三台）6. 关闭防火墙（三台）（永久关闭）7. 关闭selinux（三台）vi/etc/selinux/configSELINUX=enforcing-->SELINUX=disabled重

传统数据与大数据的对比传统Linux系统与大数据linux系统安装的区别传统数据1.系统硬盘（与数据硬盘100%隔离）1）两块硬盘做一个RAID12）引导分区： 200M3）交换分区：内存的两倍空间4）根分区： /（剩下所有的空间）2.数据硬盘1）多个硬盘制作一个逻辑卷，即将多个物理磁盘制作成一个大的逻辑硬盘大数据1.系统硬盘1）两块硬盘做一个RAID12）引导分区： 200M3）交换分区： 可以

权限drwxr-xr-x. 2 root root4096 9月14 23:15 aad:表示文件夹rwx：当前用户具备的权限r-x：当前用户所属的组具备的权限r-x：其他用户所具备的权限root：文件所属的用户root：文件所属的用户所属的组4096 ：文件大小9月：文件创建的月份14 23:15 文件创建的日期aa：文件名读权限r：数字表示4写权限w：数字表示2执行权限x：数字表示1读写执行能

注：节点操作必须使用绝对路径创建：create [-s 序列] [-e 临时节点] 路径数据例：create -e /abc 123 (临时节点：会话结束，节点消失，不能有子节点)cteate -s /def456（序列节点：在给定的文件名后追加序列号 序列号依次递增）cteate/ghi789 （永久节点：和会话没有关系，可以有子节点）修改：set 路径 数据例：set /abc 321查询：l

搭建前提1.需要安装好jdk2.检测集群时间是否同步3.检测防火墙是否关闭4.检测主机 ip映射有没有配置步骤：第一步：将安装包解压tar -zxvf zookeeper-3.4.5.tar.gzmv zookeeper-3.4.5 zookeeper(更名可有可无,我这里更名是为了后面路径写起来方便)第二步：修改环境变量（注意：有几台服务器修改几台）vi /etc/profile.d/zooke

ZooKeeper概述Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。Zookeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树种节点进行有效管理。从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态变化，从而可以达到基于数据的集群管理。ZooKeeper特性全局数据一致：集群中每个服务器