在Java虚拟机中，GC回收器不仅仅只有一种，在哪一块内存区域以及场景使用什么垃圾回收器，对于我们编写的程序的性能都有着至关重要的影响，因为，如果我们熟悉每一个GC回收器的运行机制就可以给我们的程序的性能带来很大的提升，本篇文章中，我们来探究一下每一种GC回收器的结构原理。首先，在JVM中，总共有以下几种GC回收器：新生代串行回收器老年代串行回收器新生代ParNew回收器新生代Para...

继上篇【五分钟快速认识Docker】之后，本篇文章主要介绍Docker的基本命令以及如何在Docker中使用 Nginx部署静态网站页面。转发请标明原文地址：【原文地址】一、Docker基本命令启动容器：#语法docker run IMAGE [COMMAND] [ARG...]#实例：需要指定操作系统镜像以命令docker run ubuntu /bin/bash#输出hello...

Spark Streaming集成Kafka转载请标明原文链接：在实际开发中Spark Streaming经常会结合Flume以及Kafka来实时计算数据。这篇文章主要讲述如何集成Kafka，对于Kafka的集成有两种方式：Receiver-based ApproachDirect Approach (No Receivers)在集成Kafka之前，必须先安装kafka并且启...

首先导入相关pom文件依赖，这里使用的kafak0.8.1，scala是2.10.4版本，注意导入正确的版本，与你的kafka集群版本相匹配。pom.xml：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst

一、概述本篇文章主要介绍如何使用Storm + Logstash + Kafka 实现实时数据的计算，并且使用高德地图API实现热力图的展示。背景知识：在有些场合，我们需要了解当前人口的流动情况，比如，需要实时监控一些旅游景点旅客的密集程度，这时可以使用GPS定位系统将该区域内旅客的IP数据进行计算，但是GPS定位系统也有一定的缺点，不是每个旅客都会GPS功能，这时可以使用“信令”来获取个人...

在Flink中提供了特殊的Connectors从kafka中读写数据，它基于Kafka Consumer API以及Producer API封装了自己的一套API来连接kafka，即可读取kafka中的数据流，也可以对接数据流到kafka中，基于kafka的partition机制，实现了并行化数据切片。下面让我们来看看它的主要API以及使用。Flink kafka consumer使用kafk..

在大数据的采集中，我们常用Flume来进行数据的采集，一般的我们会从Web Server服务器中收集数据，将数据存储在另一台服务器的hdfs文件系统做离线分析或者sink到另一台服务器的kafka消息队列中做实时流式计算。对于实时流处理流程如下：无论是离线数据分析还是实时流数据分析在生产环境中都不可能在同一台机器中完成，因此我们常常会跨服务器进行数据的采集，下面我们使用两台不同服务器的...

Kafka是一个高性能，高容错，多副本，可复制的分布式消息系统。在整个系统中，涉及到多处选举机制，被不少人搞混，这里总结一下，本篇文章大概会从三个方面来讲解。控制器（Broker）选主分区多副本选主消费者选主控制器（Broker）选举所谓控制器就是一个Borker，在一个kafka集群中，有多个broker节点，但是它们之间需要选举出一个leader，其他的broker充当follo...

大数据实时流式数据处理是大数据应用中最为常见的场景，与我们的生活也息息相关，以手机流量实时统计来说，它总是能够实时的统计出用户的使用的流量，在第一时间通知用户流量的使用情况，并且最为人性化的为用户提供各种优惠的方案，如果采用离线处理，那么等到用户流量超标了才通知用户，这样会使得用户体验满意度降低，这也是这几年大数据实时流处理的进步，淡然还有很多应用场景。因此Spark Streaming应用而生，