负载均衡方案1、负载均衡概念一台普通服务器的处理能力是有限的，假如能达到每秒几万个到几十万个请求，但却无法在一秒钟内处理上百万个甚至更多的请求。但若能将多台这样的服务器组成一个系统，并通过软件技术将所有请求平均分配给所有服务器，那么这个系统就完全拥有每秒钟处理几百万个甚至更多请求的能力。这就是负载均衡最初的基本设计思想。负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具

用户画像数据可视化1、数据可视化方案技术框架：maven+spring+phoenix核心点：采用phoenix与hbase整合，通过sql语句来操作NoSql数据库。2、Phoenix建立hbase表的映射表这里列出了一部分字段具体字段根据业务需要来创建。create table "cheng_adm_personas_hbase_20170101"("user_id" varchar(10

数据分析方法论确定分析思路需要以营销、管理等理论为指导。这些 跟数据分析相 关的营销、管理等理论统称为数据分析方法论。可以把方法论理解为指南针，在分析方法论的指导下我们才去开展数据分析，这样分析的结果才具有指导意义，而不会出现南辕北辙的情况。1.数据分析方法论与数据分析区别数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它 更多的是指数据分析思路，比如主要从哪几方面开展数据

日志数据采集1. 需求在网站 web 流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，因此使用通用的 flume 日志采集框架完全可以满足需求。2. Flume 日志采集系统

Spark计算模型RDD1. RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查

大数据（二）大数据相关的技术1.云技术大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。

云计算、大数据区别关于大数据和云计算的关系人们通常会有误解。而且也会把他们混起来说，分别做一句话解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。

深入理解ElasticSearch（一）API1、Java APIElasticsearch为Java用户提供了两种内置客户端：1、节点客户端(node client)：节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。2、传输客户端(Transport...