大数据（二）大数据相关的技术1.云技术大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。

云计算、大数据区别关于大数据和云计算的关系人们通常会有误解。而且也会把他们混起来说，分别做一句话解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。

Hbase Master工作机制1、master上线master启动进行以下步骤:从zookeeper上获取唯一一个代表active master的锁，用来阻止其它master成为活着的master。扫描zookeeper上的server父节点，获得当前可用的region server列表。和每个region server通信，获得当前已分配的region和region se...

kafka的API及自定义分区1.导入kafka的依赖<dependencies><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>0.11.0.1</vers

storm实时看板案例1.项目需求根据订单mq，快速计算购物网站当天的订单量、销售金额。2.项目架构模型支付系统+kafka+storm/Jstorm集群+redis集群支付系统发送mq到kafka集群中，编写storm程序消费kafka的数据并计算实时的订单数量、订单数量将计算的实时结果保存在redis中外部程序访问redis的数据实时展示结果3.订单数据模型订单编号、订单时间、支付编号、

kafka Manager监控工具的安装与使用1.上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可unzip kafka-manager-1.3.3.7.zip -d /export/servers/2. 修改kafkaManager的配置文件vimapplication.confkafka-manager.zkhosts="n

HDFS、MR、Kafka、Storm、Spark、Hbase、Redis原理图1、大数据分析阶段图2、大数据分析平台总体架构3、大数据分析平台技术栈4、HDFS分布式存储原理图5、MR计算原理图6、Kafka分布式消息队列原理图7、Storm分布式流式计算原理图8、Spark内存计算原理图9、Hbase列式存储数据库原理图10、Redis喜欢就点赞评论+关注吧感谢阅读，希望能帮助到大家，谢谢大家

storm与kafka集成本案例storm使用1.1.1版本kafka使用2.11版本1.创建工程并导入依赖 <dependencies><dependency><groupId>org.apache.storm</groupId><artifactId>storm-kafka-client</artifactId>

kafka如何保证数据的不丢失1.生产者数据的不丢失kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。如果是同步模式：ack机制能够保证数据的不丢失，如果ack设置为0，风险很大，一般不建议设置为0producer.type=syncrequest.required.acks=1如果是异步模式：通过buffer来进行控制数据的

深入理解ElasticSearch（一）API1、Java APIElasticsearch为Java用户提供了两种内置客户端：1、节点客户端(node client)：节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。2、传输客户端(Transport...