在这个云计算的时代，对技术提出了更多的需求，主要体现在下面这四个方面：1. 低延迟的读写速度：应用快速地反应能极大地提升用户的满意度;2. 支撑海量的数据和流量：对于搜索这样大型应用而言，需要利用PB级别的数据和能应对百万级的流量;3. 大规模集群的管理：系统管理员希望分布式应用能更简单的部署和管理;目前世界上主流的存储系统大部分还是采用了关系型数据库，其主要有一下优点：1.事务处理...

Hadoop性能调优1. 简介Hadoop性能调优不仅涉及Hadoop本身的性能调优，还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。具体包括以下四部分，系统对这几部分适当地进行调优均可能给Hadoop带来性能提升。Hadoop(JobTracker, TaskTracker,…) Java Virtual Machine Operating System(CentOS...

HBCK - HBCK检查什么？(1)HBase Region一致性集群中所有region都被assign，而且deploy到唯一一台RegionServer上该region的状态在内存中、hbase:meta表中以及zookeeper这三个地方需要保持一致(2)HBase 表完整性对于集群中任意一张表，每个rowkey都仅能存在于一个region区间 ...

Hadoop：       50070：HDFS WEB UI端口   8020 ： 高可用的HDFS RPC端口   9000 ： 非高可用的HDFS RPC端口   8088 ： Yarn 的WEB UI 接口   8485 ： JournalNode 的RPC端口   8019 ： ZKFC端口Zookeeper:   2181 ： 客户端连接zookeeper的端口   ...

第一步：配置redis客户端spark中配置redis客户端的代码参考： import org.apache.commons.pool2.impl.GenericObjectPoolConfigimport redis.clients.jedis.JedisPool object RedisClient extends Serializable {  val redis...

目 录6 Spark开发指南6.1 概述6.2 开发环境准备6.2.1 Java开发环境准备6.2.2 Scala开发环境准备6.3 开发指引6.4 Java代码样例6.5 Scala代码样例6.6 对外接口6.6.1 Java API6.6.2 Scala API6.6.3 Python API6.6.4 Web UI6.6.5 JDBC...

1大数据概述 1.1. 概述 大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将...